ACM通信

评论文章

保持在线社交网络的完整性

Alon Halevy, Cristian Canton-Ferrer, Hao Ma, Umut Ozertem, Patrick Pantel, Marzieh Saeidi, Fabrizio Silvestri, Ves Stoyanov
ACM通信，2022年2月，第65卷第2期，第92-98页
10.1145 / 3462671
评论

在线社交网络的目标是帮助建立人们(线上和线下)之间的联系，将人们与感兴趣的社区联系起来，并为促进文化发展提供一个论坛。社交网络为任何人提供了一个自由表达的平台，无论是知名人士还是你的邻居，从而推动了这些事业。不幸的是，自由表达的开放平台可能被用于恶意目的。个人和组织可以散布错误信息和仇恨言论，还可以利用该平台进行诸如贩卖非法毒品、协调性交易或剥削儿童等犯罪活动。所有这些违法行为早在社交网络出现之前就已经存在，但社交网络加剧了这些行为的规模和复杂性。

回到顶部

关键的见解

当然，打击这些违法行为，我们统称为保持在线网络的完整性(或简单地说，完整性)的问题，已经成为运营这些网络的公司和整个社会的一个巨大优先事项。在保持完整性方面的挑战可以分为两大类:政策和技术。制定社交网络上允许的内容和行为的政策是一个充满争议的领域，因为它涉及到在言论自由和删除冒犯性内容之间取得平衡。此外，这些政策必须对世界各地的各种文化和政治气候敏感。虽然我们触及了政策背景，但本调查的重点是在执行政策时出现的技术挑战。之所以会出现技术上的挑战，是因为判断一个帖子是否违规可能非常微妙，而且取决于对文化背景的深刻理解。更糟糕的是，内容以前所未有的规模、超过100种语言和非常不同的社会表达规范被创造出来。此外，保持完整性是一个具有对抗性的问题——当参与者学习用于删除违规内容的技术时，他们会找到绕过保护措施的方法。

在过去的几年里，学术界一直在积极地研究诚信问题，一些调查已经写了关于诚信的一般问题的具体方面(例如，Pierri等。²⁸和夏尔马等人。³³)．这项调查来自于Facebook/Meta必须应对广泛的诚信违规行为的角度。^一个Meta不得不解决的问题在其他社交网络上也有不同程度的经历。^bMeta所提供的服务的广度、它所支持的内容的多样性以及用户基数的巨大规模可能已经吸引了最广泛的完整性违反行为，在许多情况下，是最激烈的。这个调查(及其相关的更长的版本)¹¹)确定了几组技术，它们共同构成了解决广泛的完整性违反问题的一般框架，并突出了每一类中最有用的技术。

回到顶部

问题定义

本文主要考虑发生在社交媒体帖子上的诚信违反行为，无论是由个人、团体或付费广告发布的。社交网络提供的消息服务也被用作违反内容政策的工具，比如培养儿童以供未来利用。随着消息传递服务向端到端加密的方向发展，社交网络需要在加密提供的隐私和信息隐私时可能被进一步侵犯的安全之间找到正确的平衡。我们稍后会简要地讨论这个问题。

政策。在社交网络上保持完整性的问题是由这些网络发布的社区政策定义的，这些政策描述了在其平台上允许什么。虽然政策的最终制定是由公司自己决定的，但它们是基于社区(例如，欧盟委员会)和当地法律的重要投入。制定这些政策的挑战在于平衡言论自由与维护平台安全的愿望。例如，发布一具血淋淋的尸体可能是不被允许的。然而，如果背景是一个分娩场景，那么它是可以被允许的，如果它没有显示隐私的身体部位。另一个例子是，在Facebook上出售枪支或非法毒品是违法的，但用户可以讨论管理这些物品销售的法律。这些微妙之处使得算法更难判断一个帖子是否违法。同样重要的是要注意到这些政策不是静态的。随着网络话语的变化和对社交网络新的恶意使用的出现，政策和执行指南也在不断更新。例如，当一种可能导致身体伤害的新型错误信息出现时(例如，针对COVID-19的虚假治疗)，审查员指南被更新得更加明确，一项删除导致即将发生身体伤害的内容的政策适用于该内容。

执行的完整性。图1说明了Facebook的诚信执行流程，这在精神上与其他社交网络相似。潜在的完整性侵犯主要通过两种方式检测:来自看到违规内容的用户的报告和在内容上传时检查内容的AI系统。如果人工智能系统认为违反的内容置信度很高，可能会立即删除。当内容被标记时，它可能会被网络降级，以限制其病毒式传播，同时进行验证。降级是通过降低用户流中的内容的排名来实现的，这样更少的人会看到它。

图1。在Facebook加强诚信。

根据是否违反社区标准或错误信息，可以通过两种途径检查潜在的违规行为。在前一种情况下，内容被发送给大量付费内容审查员，他们接受过社交网络禁止的违规细节方面的培训。如果多名审查员同意违规，违规内容将被删除。在某些情况下，审稿人会被引导通过一个关于文章的特定问题列表，帮助他们做出合理的推荐。

错误信息被区别对待，因为社交媒体公司认为，他们不应该决定世界上什么是真的和假的。^c可疑的虚假信息违规将被发送给第三方内容审查员。例如，在Meta的案例中，这些审查员是由一个独立机构——国际事实核查网络(International Fact-Checking Network)认证的。他们通过初级和二级研究来审查和评估内容，以找到证实或不证实一项事实陈述的证据。由于所涉及的研究具有更深层次的性质，并且由于第三方事实核查员的数量要少得多，审查管道的吞吐量要小得多。在实践中，许多错误信息的帖子都是之前被揭穿的帖子的小变体，因此大量的努力都被用于寻找语义相似的帖子，并将新帖子与之前被揭穿的说法联系起来。当机器学习模型检测到与事实核查员已经评估的内容相同的虚假内容时，它将直接对重复的内容进行事实核查。

除了删除内容，社交网络还可以减少内容的分发。特别是，该网络可以降低用户信息源中的内容的级别，或使某些内容更难重新分享，从而减少其传播。另一种保护用户的方法是让某些搜索更难进行。例如，与儿童的不适当互动以及非法商品的销售往往始于不良行为者搜索脆弱的个人或用户搜索出售的产品。

测量。为了评估识别违规内容的技术的有效性，我们需要一组可以跟踪的指标。与其他机器学习应用不同的是，完整性的对抗性和一些违反发生的频率极低的事实，使得设计有意义的指标变得非常棘手。Meta每三个月根据几个指标发布关于其完整性执行情况的报告。⁸

流行率是兴趣的关键指标之一，它是用网络上所有内容的百分比来衡量的。它指的是社交网络上未被执行机制捕获的内容数量。患病率和Web文档的回忆率一样，很难测量，所以通常是针对一些样本进行测量。计算流行率最简单的方法是计算网络上不同帖子的数量。然而，由于有些帖子的浏览量比其他帖子高，所以衡量不良体验的流行程度更有意义，即用户看到违规帖子的次数。还可以细化经验流行率，以考虑到违规的严重程度。例如，一个人的全裸照片会被认为比只有部分裸体的照片更严重。当然，考虑到严重性，需要有一种方法，针对每种类型的违规，对每个职位附加严重性措施。除了不同形式的流行，其他被跟踪的指标包括:主动率，即AI系统在用户报告之前检测到的违规行为的百分比;自动删除，没有经过人工审核的帖子被删除的百分比; and appeals rate, that percent of posts that were deemed violating and the decision was appealed (and the appeal outcome).

回到顶部

加强完整性的方法

我们现在描述实施完整性的方法。我们没有依次考虑每一种违规类型，而是确定了社交媒体生态系统的关键方面，每一个方面都与各种各样的违规类型相同。我们特别关注分析一篇文章的内容以及随之而来的用户之间的互动。每一个主题都代表一个研究和开发的领域，发现的创新可以广泛应用。

文本的理解。对文本的语义理解在对帖子是否违法进行分类时起着关键作用。自我监督培训的最新进展^6，27，39在解决我们在社交媒体帖子中遇到的棘手问题方面表现出了巨大的希望，比如频繁的拼写错误、正字法变化和口语化表达，以及单词的上下文很重要的事实。

伯特⁶已经成为精确文本理解的标准体系结构。它最近的改进，如RoBERTa，¹⁹艾伯特,¹⁶T5,^30.改进了训练配方，扩展到更多的数据和参数，从而进一步推动了技术的发展。这些方法对于辨别仇恨言论等困难的任务尤其有帮助，因为需要对语言有细微的理解。

多语言挑战被认为是跨语言理解的问题。在此设置中，训练模型使用一种或多种语言的数据执行任务，然后要求模型使用其他语言的数据执行任务，这些数据在训练数据中不存在或表示不足。

从多语言BERT (mBERT)开始，自我监督方法已经成功地应对了多语言挑战。⁶mBert使用单一的共享编码器来训练大量的多语言数据。进一步的细化，例如XLM¹⁵XLM-R,⁵已经缩小了在培训数据中看不到的语言使用表现和语言使用表现之间的差距。特别是XLM-R，它已经证明，与在各种任务中专门针对特定语言的模型相比，针对100种语言训练的多语言模型在准确性方面只损失了一点点(平均1.5%)。当应用于检测完整性违反时，这些预先训练的模型将使用个别违反类型的训练示例进行微调。XLM等跨语言模型已成功用于解决跨语言仇恨言论分类等问题。¹特别是，在仇恨言论帖子中使用的一些模式确实可以跨语言传递。

在文本的细微差别。最近的一项研究研究了内容的传达方式是否能提供有关作者意图的重要信号。³¹例如，如果在一篇文章中使用的语言涉及高度兴奋的情绪(例如，愤怒)，那么这可能表明有更明显的伤害或误导读者的意图。其他类型的风格分析也被用于检测假新闻。^12，21

计算机视觉。计算机视觉的进步已经推动了监督学习技术的发展，使图像和视频理解具有很高的准确性。图2举例说明，当前的计算机视觉系统可以区分良性内容(油炸西兰花)和有害内容(大麻)，而人类要做到这一点可能很棘手。

图2。良性内容和违规内容在视觉上的相似性。其中一幅是大麻，另一幅是炸西兰花。我们鼓励读者自己去判断哪张图片是违规的。正确答案可以在“新兴话题和挑战”一节中找到。

分析视频是一项更具挑战性的任务，因为它不仅需要理解空间语义，还需要理解时间语义，并在可用的情况下考虑音频。通常，视频被分析为3D体积(图像+时间)产生引人注目的结果。³⁵然而，分析3D体积的计算成本已经被证明是令人望而却步的，因此研究人员开发了一种技术，可以将它们分解为单独的2D卷积(用于图像)和1D卷积(用于时间)，同时仍能达到最先进的精度。³⁵

操纵媒体。在社交媒体上分享的图片、音频和视频很少没有经过某种程度的编辑就发布出来。随着计算机视觉和语音处理的最新进展以及生成对抗网络的出现，操纵媒体已经向前迈出了重要的一步。这些进步释放了被称为“深度造假”的有害应用的潜力，比如脸谱木偶，^23，40语音操作,²⁹面对转移,³⁴还有全身操作。⁴许多这样的操作可以被用来冒充他人，传播虚假信息，或者只是在观察者中引入偏见。

因此，对媒体操纵行为的检测研究已成为一个突出的课题。^7，36到目前为止，这一领域出现了两种主要技术。第一个是基于学习媒体修改方法在结果画面中留下的痕迹^10，18的媒体。不同的生成方法在介质中引入了细微的伪影，这些伪影来自于插值、生成过程的不准确性或后处理，通常肉眼难以察觉。尽管这些方法每年都在改进，但这种细微的伪影仍然是攻击深度造假检测的主要方法之一。第二套方法是基于分析与人脸相关的生理线索。在这里，经过处理或完全合成的图像缺少一些微妙的线索，比如血流²⁵或者眼睛闪烁,¹⁷可以通过计算机视觉方法检测到。

多通道推理。检测许多类型的完整性违反，如错误信息或仇恨言论，通常是微妙的，因为它是提供内容的真正含义的模式的组合。我们用模因来说明图3文本和图像单独在一起可以是良性的，但当它们结合在一起时，它们的意义就会发生变化，内容就会变得令人反感。对人类来说，理解模因很容易，但对机器来说，这比单独理解每一个模因更难。不幸的是，在实践中，许多充满仇恨的帖子都是基于表情包。

图3。在这三个模因中，文字和图像单独来看都是良性的，但结合在一起会产生一个恶意的模因。

与我们理解单个模式的能力相比，目前对多模态的理解状态仍处于初级阶段。因此，完整性领域是推动多模态推理技术发展的重要动力。

最近关于该主题的研究开始倾向于基于早期融合的分类器，而不是基于晚期融合的分类器。后期融合分类器使用现有的单峰分类器，并在最后一层融合它们。虽然它们更容易构建，但在理解以微妙方式组合多种模式的内容时，它们是无效的。相比之下，早期融合分类器在做出任何预测之前将原始数据输入融合分类器。训练考虑多种模式的分类器的挑战之一是，它们容易对其中一种模式过度拟合(例如，因为该模式主导了内容)。

表征学习的进步也为多模态推理提供了好处。多通道bitransformer¹³使用预先训练的单峰表示(BERT和ResNet-152)，然后根据手头的任务对它们进行调整。维尔伯特(视觉与语言伯特的简称)，^20.另一方面，使用文本和图像数据对模型进行预训练，扩展自监督方法，使系统能够早期学习文本如何引用图像的各个部分，反之亦然。多模态比特转换器在类别级别上促进了更细微的理解，例如标记关于药物或其他有害内容的整个类别的内容。相比之下，VilBERT推动了对特定对象任务(如问题回答)的多模态理解的准确性。

基于这些想法，Facebook在生产过程中使用的完整嵌入系统(WPIE)，¹在分析一篇文章时结合多个来源的信息。WPIE经过多种模式、多种完整性违反和时间的预先训练。从某种意义上说，就像跨语言预训练可以提高分类器的整体性能一样，WPIE可以跨数十种违规类型进行学习，从而对内容有更深入的理解。

分析网络行为。网络特征分析是识别违规内容的关键。从某种意义上说，这并不奇怪，因为网络是用来传播和放大内容的媒介，有时还用来修改原始帖子的意图。

分析网络效应有两个方面。首先是理解发布后用户与文章的交互。用户通过几种机制与内容进行交互:反应表情包(例如，喜欢、哈哈、愤怒、悲伤)、评论帖子，以及在自己的网络上重新分享帖子。因此，内容(是否违反)在现实世界中产生了一些反应，而这种反应的性质提供了判断内容是否违反的重要信号。第二种类型的洞察力涉及对网络上的参与者(即用户、组、组织)和他们之间关系的理解。例如，一些参与者可能在网络上的其他地点和时间参与了违规行为，或者可能属于容易创建甚至协调违规内容的社区。

分析网络行为的技术是基于社交网络的图形表示。图中的节点对应于用户和内容，边缘代表对帖子(例如，分享、评论、反应)的响应行为，以及网络上成对参与者之间的关系。一些最有效的工作已经考虑通过运行像Node2Vec这样的图学习算法自动提取用户嵌入⁹在这些网络。这些嵌入然后被用于下游任务，如检测错误信息或滥用语言检测^22，38或仇恨言论。在Facebook的几个诚信任务中，Noorshams等人使用了一个系统。²⁴建立了一个模型，该模型通过对一个帖子的反应的时间模型丰富了用户嵌入。

协调行动。多个参与者之间的协调行动已成为促进完整性违反内容的常见策略，并可能造成严重后果。协调行为指的是一组参与者，他们要么努力确保帖子得到更广泛的传播，要么显得更权威。例如，行为者可能联合起来传播错误信息，说选举投票站已经提前关闭，以阻止人们投票。通常，这些协调行动是通过社交机器人实现的。^2，32，37帕切科et al。²⁶描述一种利用网络结构来发现社交网络内协调活动的方法，该方法基于用户行为的独立性惊人地缺乏，并利用这种分析将可能协调某些目标的用户聚集在一起。

回到顶部

新出现的话题和挑战

在此，我们简要地谈谈几个正在出现的挑战。^d

正直的同时保持隐私。为了回应用户对隐私的看法，大多数消息传递应用程序都在从端到端进行加密。因此，由于消息的内容对服务提供者不再可见，任何完整性违反的分析都需要在设备本身上执行。用于推断的机器学习模型需要在公开可用的数据集上进行离线训练，然后再传输到设备上。设备上的推断受到设备的内存和处理能力的限制，并可能对其电池寿命产生不利影响。设备上的推断也给测量带来了挑战——脱机训练并交付给客户的模型的有效性通常会随着时间的推移而下降，如果不能测量其性能，就很难知道它何时需要修复。

---

计算机视觉的进步已经推动了监督学习技术的发展，使图像和视频理解具有很高的准确性。

---

外部知识对于检测违规行为非常有用。举个简单的例子，在错误信息的背景下，系统可以尝试确定帖子中的声明是否与已经验证或驳斥的声明相似。基于这个想法，我们相信一个有趣的研究途径是赋予完整性算法更广泛的关于现实世界及其微妙之处的知识。事实上，判断一个帖子是否违法通常需要了解时事、世界上长期存在的冲突和麻烦的关系，以及特定人群的敏感性。

人力内容审核人员的管理。执行完整性的关键步骤之一是由识别违规的人工内容审查员检查内容。这些审核员从执行系统或报告违规的用户那里接收内容，他们产生的标签对于训练执行系统使用的机器学习模型至关重要。与此同时，还有一组为第三方机构工作的内容审查员，他们对怀疑是错误信息的内容进行事实核查。

运营这样一支队伍的一个挑战是需要通过他们判断的大量内容。此外，我们需要能够适应和应对劳动力供应突然下降的情况，就像COVID-19大流行期间发生的情况一样。内容审查员的利益是一个关键问题——内容可能是图形化的或其他令人反感的。内容审核工作人员可能会将一些资源放在适当的位置，例如提供获得许可的咨询师，提供团体治疗课程，并在招聘过程中筛选申请人是否适合该角色。

回到顶部

结论

近年来，社交媒体作为分享新闻和信息的媒介，以及将人们与朋友和家人联系起来的媒介日益突出。因此，社交媒体公司必须在不同的目标之间取得平衡:促进与平台的互动，在用户之间创造有意义的互动，^3.保护在线内容的完整性。正如本文所展示的，从技术的角度来看，保持完整性是一项挑战，它推动了人工智能及其邻近领域许多方面的边界。

诚信很快要解决的一个重要问题是明显违反政策的内容和可能冒犯广泛受众的边缘内容之间的界限。社交媒体平台努力将用户体验的负面体验数量降至最低，而边缘内容是这种负面体验的主要来源。然而，判断一段内容是否会给用户带来负面体验是一种高度主观的判断，可能会被社交媒体平台视为过多的干预。在未来几年里，以健康的方式把握好这条微妙的界限无疑将是一个重要的挑战。

诚然，诚信是产业界和学术界合作的一个棘手领域。共享数据集是有问题的，因为涉及到机密用户数据，但也因为有些数据共享是非法的(例如，儿童剥削图像数据集)。此外，一些用于保持完整性的方法必须保密，否则它们可能被坏人用作武器。公司已经投入大量精力创建可用于研究目的的数据集，例如Deepfake检测挑战¹⁰以及可恶的表情包数据集。¹⁴我们希望这篇文章为更多可能的合作领域激发灵感。

回到顶部

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.

---

没有发现记录