这是来自Casey Newton和Zo? Schiffer的关于硅谷和民主的通讯。在这里注册。

　　今天，我们来谈谈传统的平台司法系统是如何看到新的改革运动的迹象的。如果它在Discord上取得成功，它的支持者希望这一举措能在网络上带来更好的行为。

　　我。

　　与许多其他科技公司一样，Discord的旧金山园区也是一家科技公司的总部，拥有开放式办公室、备货充足的微型厨房，员工们在人满为患的会议室里进进出出。

　　但穿过入口处的玻璃门，立刻就能看出这是一个由游戏玩家建造的地方。街机风格的艺术装饰着墙壁，各种各样的游戏隐藏在角落里，周三下午，三个员工坐在一排，在第一人称射击游戏中竞争。

　　电子游戏是为了纯粹的乐趣而设计的，但围绕这些游戏的社区可能是出了名的有害。愤怒的玩家谩骂对手，攻击对手，在一些最危险的情况下，他们会召集特警队到目标家中。

　　游戏玩家是理解网络危害演变的培养皿

　　对于最初作为玩家在一起玩游戏时聊天工具的Discord来说，玩家既是关键的支持者，也是了解网络危害演变的培养皿。如果它能伤害到别人，那么就可能有一个愤怒的玩家在某处尝试它。

　　当然，到目前为止，成立8年的Discord举办的不仅仅是游戏讨论。到2021年，该公司每月用户超过1.5亿，其最大的服务器现在包括专门用于音乐、教育、科学和人工智能艺术的服务器。

　　随着用户群的增长，关于用户在其服务器上做什么的高调争议也随之而来。今年4月，当五角大楼泄露的机密文件在该平台上流传时，该公司上了头条。2017年，白人民族主义者在弗吉尼亚州夏洛茨维尔策划了“团结右翼”集会，后来在纽约州布法罗发生的种族主义大规模枪击事件中，嫌疑人被发现在该平台上上传了种族主义帖子，Discord曾因使用该平台而受到审查。

　　当然，Discord上大多数有问题的帖子都没有那么严重。与任何大型平台一样，Discord每天都在与垃圾邮件、骚扰、仇恨言论、色情和血腥作斗争。(在加密货币狂热的高峰期，它也成为了诈骗者青睐的目的地。)

　　大多数平台处理这些问题的方式都是“三振出局”政策。违反规则几次就会得到警告;第三次违规，你的账户就会被注销。在许多情况下，罢工会在一段时间后被原谅，比如30天或90天。从科技公司的角度来看，这项政策的好处在于，它很容易沟通，而且可以“扩展”。你可以建立一个自动化系统，在没有任何人为监督的情况下发布罢工、审查申诉和封禁账户。

　　在许多科技公司在信任和安全方面有所退缩的时候，这样的政策很有吸引力。

　　2

　　然而，当Discord的团队审查自己关于警告和暂停用户的政策时，他们发现该系统存在不足。

　　第一，三振出局的政策不相称。它对轻微违规和严重违规征收相同的罚款。第二，它不能使人康复。大多数受到打击的用户可能不应该被永久封禁，但如果你想让他们留下来，你必须想办法教育他们。

　　Discord想要控制青少年最坏的冲动

　　第三，大多数平台纪律体系缺乏细微差别。如果一个十几岁的女孩上传了自残的照片，Discord将根据其政策删除这张照片。但这个女孩不需要被禁止使用社交媒体——她需要被指向可以帮助她的资源。

　　除此之外，Discord还有一个额外的复杂因素需要考虑。一半的用户年龄在13到24岁之间;其相当一部分基础是青少年。青少年是根深蒂固的冒险者和边界推动者，Discord的动机是建立一个系统，控制他们最坏的冲动，在最好的情况下，把他们变成正直的互联网公民。

　　这就是Discord今天宣布的新警告系统的逻辑。该公司在一篇博客文章中解释了这些变化:

　　首先是DM——违反规则的用户将直接收到来自Discord的应用内消息，根据事件的严重程度以及Discord是否采取了行动，让他们知道自己收到了警告或违规。

　　点击一下即可获得详细信息——从该消息中，用户将被引导到一个详细的模式，其中将提供违反我们规则的帖子的详细信息，概述所采取的行动和/或帐户限制，以及有关违反特定Discord政策或社区指南的更多信息。

　　所有信息都精简在您的帐户站立-在设置中，所有关于过去违规的信息可以在新的“帐户站立”选项卡中看到。

　　然而，有些违规行为比其他违规行为更严重，我们将根据违规行为的严重程度采取适当的行动。例如，我们已经并将继续对暴力极端主义和儿童性内容采取零容忍政策。

　　像这样的系统并不完全是新奇的;Instagram采取了类似的方法。“不和谐”更进一步的地方在于它的惩罚制度。它不是简单地给用户罢工，而是根据他们的违规行为限制他们在平台上的行为。如果你在服务器上发布了一堆视频，Discord会暂时限制你上传媒体的能力。如果你侵入了别人的服务器并发送了大量的信息，Discord会暂时关闭你发送信息的能力。

　　“作为一个行业，我们有很多锤子可供我们使用。我们正试图在我们的方法中引入更多的手术刀，”Discord负责信任和安全的副总裁约翰·雷德格雷夫(John Redgrave)在接受采访时告诉我。“如果用户能够真正改变自己的行为，这不仅有利于Discord，也有利于所有平台。”

　　Discord将努力不永远禁止该用户

　　当有人一再越界时，Discord将努力不永远禁止用户。相反，它将禁止他们一年——对于一个终身禁令是常态的行业来说，这是一个大幅减少的量刑。

　　这是对社交网络在人们，尤其是年轻人的生活中的重要性的一个受欢迎的承认，也是对大多数任性的用户可以改过自新这一想法的罕见接受，只要有人愿意花时间去尝试。

　　“我们真的想给那些经历了糟糕一天的人一个改变的机会，”Discord的高级政策主管萨凡纳·巴达利奇(Savannah Badalich)告诉我。

　　Badalich说，新系统已经在一小部分服务器上进行了测试，并将在未来几周内开始推出。除了新的警告系统，该公司还推出了一项名为青少年安全辅助(Teen Safety Assist)的功能，该功能默认为年轻用户启用。打开后，它会扫描陌生人发来的信息，寻找不合适的内容，并模糊直接信息中可能敏感的图像。

　　3

　　周三下午，Discord让我旁听了雷德格雷夫、巴达利奇以及该公司200人信任与安全团队的另外四名成员的会议。主题是:它刚刚宣布的针对个人用户的警告系统是否也适用于服务器?

　　毕竟，有时候使用Discord的问题超出了个人用户的范畴。服务器也违反了政策，现在针对个人的警告系统已经推出，该公司正将注意力转向基于群体的危害。

　　我很感激有机会参加这次会议，这是一次公开的会议，因为该公司仍处于构建解决方案的早期阶段。与大多数与内容审核相关的主题一样，理清所涉及的各种权益可能非常困难。

　　所有这些感觉就像一个无法解开的结

　　在这种情况下，团队成员必须决定谁对服务器发生的问题负责。如果您的第一个想法是“服务器的所有者”，那么我的想法也是如此。但有时版主会对服务器所有者生气，并通过发布违反Discord规则的内容来报复他们——这是一种焦土政策，旨在让服务器被禁止。

　　好了,。也许版主应该被认为和所有者一样对服务器的危害负责?事实证明，Discord对活跃版主的定义并不完全一致。有些用户在加入服务器时自动获得版主权限。如果服务器出现问题，而“版主”从未在服务器上发帖，为什么要追究他们的责任?

　　此外，团队成员说，一些服务器所有者和版主往往不熟悉Discord的社区指导方针。其他人可能知道规则，但实际上并没有意识到服务器中的不良行为——要么是因为它太大，太活跃，无法阅读每个帖子，要么是因为他们最近没有登录。

　　最后，这组问题适用于偶然发生损害的大多数服务器。Discord还必须考虑到一些规模较小但数量可观的服务器，这些服务器的设置是为了造成伤害——比如收集和出售儿童性虐待材料。团队一致认为，这些服务器需要非常不同的假设和执行机制。

　　所有这些感觉就像一个无法解开的结。但最终，团队成员找到了前进的方向:分析服务器元数据的组合，以及服务器所有者、版主和用户的行为，以诊断问题服务器并尝试修复它们。

　　它并不完美——信任和安全从来都不是完美的。一位产品政策专家半开玩笑地表示:“目前的制度是一个执法过度和执法不足的迷人案例。”“我们提议的是一种不同的执法过度和执法不足的情况。”

　　不过，那天离开Discord总部时，我对公司未来的系统会随着时间的推移而改进充满信心。信任和安全团队经常被讽刺为党派的责骂者和审查者。访问Discord提供了一个可喜的提醒:他们也可以成为创新者。