ACM通信

贡献的文章

保护自动驾驶汽车免受幻影攻击

文/本·纳西，伊斯罗·米尔斯基，雅各布·沙姆斯，拉兹·本-内塔内尔，杜迪·纳西，尤瓦尔·埃洛维奇
ACM通讯，2023年4月，第66卷第4期，第56-69页
10.1145 / 3552308
评论

经过多年的研究和开发，计算机化的驾驶员智能终于达到了这样的程度:自动驾驶功能不仅可以辅助手动驾驶，而且正在取代手动驾驶。20世纪80年代中期学术界率先开展的科学研究和汽车工业的研究都取得了重大进展，达到了商业化所必需的成熟度。计算机化的驾驶员智能现在被集成到商业高级驾驶辅助系统(ADASs)中，该系统可以在车道偏离和超速时提醒驾驶员(1级自动化)，停车以防止即将发生的碰撞(2级自动化)，引导汽车到达目的地(3-5级自动化)等等。

回到顶部

关键的见解

集成在ADASs中的计算机化驾驶员智能将驾驶技术带到了前所未有的高度:自动驾驶的安全性被认为是手动驾驶的10倍(据预测，在未来几年，自动驾驶的安全性还会更高)。毫无疑问，汽车行业即将进入一个计算的新时代:无人驾驶汽车时代。

科学家们克服了许多计算挑战，创造了一个由商用半自动汽车组成的现实。其中一个挑战是开发必要的计算机化驾驶智能，或者更具体地说，创建对物理环境的实时虚拟感知所需的人工智能。为了克服这一挑战，科学家们开发了专用的人工智能物体探测器，能够实时检测附近行人、交通标志、车道和汽车的位置。这样的对象检测器是在一个过程中创建的，其中模型在真实的标记数据上进行训练，直到它们的性能达到所需的水平-例如，低错误率或低改进率。

然而，关于培训过程对能源消耗的影响，已经提出了许多争论^13，23至于它的费用，³⁴自动驾驶被认为比手动驾驶更安全的事实证明，训练过程有效地将驾驶员在实时检测真实物体方面的经验转移到人工智能。然而，我们质疑训练过程在转移物体检测器所需的经验方面的效率，以区分必须考虑的真实物体和应该忽略的虚假投影/呈现物体(幻影)。

在本文中，我们指出了ADASs的一个计算限制，该限制源于计算机视觉对象检测器的创建方式:无法从视觉上区分真实对象和虚假的投影/呈现对象。我们表明，即使计算机视觉物体探测器在检测真实物体方面优于人类，¹⁵他们倾向于将视觉幻象(呈现/投射的物体)视为真实的物体。我们检查了感知计算的局限性，发现这是模型训练方式的副作用:重要的特征，如判断、现实主义和合理性，在训练过程中没有转移到目标检测器。感知计算的限制源于在数字世界中执行的训练过程，影响了商业ADASs感知物理世界中的物体的方式。有人可能会说，商业ADASs可以通过使用传感器融合来克服物理世界中的这种感知计算限制，也就是说，将相机传感器数据与从深度传感器(例如，雷达、激光雷达和超声波传感器)获得的数据交叉关联。然而，我们展示了特斯拉Model X，最先进的半自动驾驶汽车，也错误地将投影物体分类为真实物体，即使它包含一组超声波传感器和雷达，并且该物体没有任何深度。这指出了商用半自动/全自动汽车的一个新的感知计算限制。

---

我们即将进入汽车行业计算的新时代:无人驾驶汽车时代。

---

基于我们的研究结果，我们解释了攻击者如何利用感知计算限制，通过应用幻影攻击来触发商业ADAS的反应。这可以通过将一个幻影投射到靠近行驶的汽车的结构上，或者将一个幻影嵌入到数字广告牌上的广告中来实现。我们演示了该攻击在特斯拉Model X上的应用，并展示了其自动驾驶仪如何自动触发刹车。为了克服上述感知计算的限制，防止物体探测器将幻影误分类为真实物体，我们提出了GhostBusters，这是一个机器学习(ML)模型委员会，其中每个模型都经过训练，以检测出区分幻影与真实物体的专用特征。通过观察物体的反射光、背景、表面和深度，可以直观地检测出幻影。《捉鬼敢死队》的AUC超过0.99,TPR为0.994,FPR阈值设置为0。当将GhostBusters应用于7个最先进的路标探测器时，我们能够将攻击成功率从99.7%-81.2%(不使用我们的对抗措施的成功率)降低到0.01%。

回到顶部

知觉计算局限性的来源

自20世纪80年代中期卡内基梅隆大学的学术研究人员开始对计算机驾驶智能进行研究以来，计算机驾驶智能的科学已经取得了重大进展。目前，这个主题主要由汽车行业(Tesla、Mobileye、Waymo、Yandex等)进行研究。近年来，各种公司已经开始生产二级自动化(例如特斯拉)和三级自动化(例如梅赛德斯)的商用半自动汽车。

传感器融合用于创建物理环境的虚拟感知，该虚拟感知由多个层次组成;每一层都依赖于下一层的输出。¹²在最底层，原始输入数据来自各种传感器，如摄像机、一组超声波传感器、雷达或激光雷达。第二层由信号处理技术组成，包括滤波和时空对齐。下一层由目标检测算法组成，用于使用获得的传感器数据检测目标。目标探测算法可以使用从单个传感器(例如，车道只能由摄像机探测到)或从几个传感器(例如，雷达和摄像机可以探测到汽车)获得的数据。虚拟感知的最后一层评估被检测对象的行为——例如，判断被检测的汽车是否即将转向自动驾驶汽车的车道。最后一层的输出被决策算法用作输入，决策算法输出的决策被转换为驾驶动作，例如转向和刹车。本文主要研究计算机化驾驶智能的虚拟感知与驾驶员在投射/呈现无深度物体情况下的智能之间的差异。

背景及相关工作。早期的计算机视觉研究旨在开发计算机化的驾驶员智能出现在20世纪80年代中期，当时科学家首次演示了一种道路跟踪机器人。³⁶从20世纪80年代中期到2000年进行的研究建立了自动驾驶智能在相关任务中的基础，包括检测行人，³⁹道,^3.还有路标。⁹然而，绝大多数最初用于检测物体的计算机视觉算法都需要开发人员手动编程专用功能。

近年来计算能力的增强改变了人工智能模型的创建方式:通过在原始数据上训练各种神经网络架构，自动提取特征。自动特征提取优于并取代了手工编程对象特征的传统方法。在人工智能性能提升的激励下，汽车行业部署了今天商用ADASs中使用的物体探测器，用于警告司机即将发生碰撞，识别道路标志等。这种将物体探测器集成到商用ADASs的做法鼓励了科学家们去研究人类和计算机驾驶智能之间的差异。例如，几项研究证明了数字世界中不可见的变化(人眼无法检测到的变化)如何导致AI模型对物体进行错误分类。^5，25，29其他研究表明，人工智能模型如何用附加的物理工件(例如涂鸦或贴纸)错误地分类路标^7，33，40)，或者对标志上的数字做出微不足道的改变。²⁷上述研究强调，人类和虚拟对周围环境的感知存在差异，攻击者可以利用这种差异来触发ADAS的反应。

计算机视觉目标检测器。计算机视觉物体检测器(CVOD)是一种从一个或多个摄像机获取数据并识别帧内某些物体位置的模型。cvod有助于实时检测物体，其输出对于包括避开障碍物(例如，通过检测汽车和行人)、让汽车保持在车道上(例如，通过检测车道)和停车(例如，通过检测红绿灯)在内的任务至关重要。

开发CVOD需要在视频摄像机获得的标记数据上训练一个模型。训练过程通常在模型的性能达到预期目标时结束——例如，错误率或改进率。最近的研究表明，最先进的物体探测器可以高精度地检测物体，但训练过程通常需要大量的计算能力和较长的训练时间，导致高能耗^13，23和成本。³⁴

感知计算的局限性。cvod的高性能证明了训练过程可以将驾驶员检测真实行人、路标、²车道，等等。然而，我们认为训练过程也有一个不受欢迎的副作用:视觉幻影(例如，物体的照片/投影)被视为真实的物体。这在图1在那里，幻影被cvod错误地归类为真实的物体。

图1。左图:广告中的人物照片被最先进的物体检测器fast - rcnn识别为真实的行人。右图:投影对象被特斯拉Model X (HW2.5)识别为真实对象。

考虑到这一点，下面的问题就出现了:在训练过程中，是什么没有被转移，导致了这种不幸的副作用(将幻影误分类为真实物体)?分析图1，我们看到司机理解环境的能力并没有在训练过程中转移。左边的图显示了最先进的行人探测器²⁴将广告上的人的照片错误地归类为真正的行人，因为它无法理解检测到的物体的上下文——也就是说，该物体是广告的一部分。对这种副作用的另一种可能的解释是，驾驶员辨别真实性的能力并没有转移到物体检测器上。这在右图中得到了证明，其中一辆半自动驾驶汽车(特斯拉Model X)由于无法将投影视为假物体，将投影错误地归类为真实物体。

要回答前面的问题，我们必须首先确定在培训过程中获得了什么知识。这可以通过分析来确定图1，这表明计算机视觉目标检测器本质上是特征匹配器。因此，他们将幻影视为真实物体，因为(1)幻影与真实物体的几何形状、边缘、轮廓、轮廓和颜色匹配，(2)训练集不包含被标记为幻影的投影实例。有人可能会说，商用ADASs可以检测到幽灵，这种ADASs使用传感器融合，通过交叉关联摄像机传感器获得的数据和深度传感器(例如，雷达、激光雷达和超声波传感器)获得的数据，并在没有任何深度的情况下排除物体。然而，可以看出图1在美国，即使是由一组超声波传感器和前向雷达组成的特斯拉Model X，也会将投射在车前的幻影视为真实物体，尽管幻影没有任何深度。

回到顶部

幻影的攻击

在本节中，我们将解释攻击者如何利用cvod的感知计算限制(即无法区分真实和虚假对象)来触发半自动驾驶汽车的反应。我们还介绍了幻影攻击和瞬间幻影攻击，并演示了这些攻击在商用半自动汽车特斯拉Model X (HW 2.5/3)上的应用。

威胁模型。我们定义了幻影、幻影攻击和瞬间幻影攻击;提出了应用攻击的远程威胁模型;讨论袭击的意义。

幻影。幻影是一种无深度的视觉物体，用于欺骗半自动驾驶汽车，使它们的系统感知到该物体并认为它是真实的。幻影物体可以使用投影仪创建，也可以通过数字屏幕呈现——例如，在广告牌上。呈现/投影的无深度对象是由3D对象的图片创建的，例如行人、汽车、卡车、摩托车或交通标志。

幻影的攻击。幻影攻击是由攻击者呈现/投射的幻影，ADAS将其视为真实物体/障碍物，并触发ADAS的反应。在自动化级别为0的ADAS中，幻影可以触发警报，提醒驾驶员即将发生碰撞——例如，与幻影行人发生碰撞)。对于自动化级别2的ADAS，幻影可能会触发汽车的自动危险反应(例如，突然刹车)，在错误的设置下可能是危险的。攻击者可以随时呈现幻影，并决定幻影呈现的时间。攻击者可以将幻影嵌入数字广告中，展示在黑客入侵的面向互联网的数字广告牌上^22，35或者将幻影投射到道路或建筑物上——例如，通过安装在无人机上的便携式投影仪。

瞬间幻影攻击。瞬间幻影攻击是由攻击者触发的幻影攻击，它只出现几毫秒，使人类驾驶员难以检测到攻击(在目标汽车的自动化级别为1-3的情况下)。瞬间幻影攻击是一种新型的对抗性AI攻击。虽然之前的对抗性人工智能攻击针对的是太空领域，^{7，27，32，33，40}瞬间幻影攻击利用了时间域。

的意义。幻影攻击和瞬间幻影攻击相对于经典对抗性攻击的意义^{7，27，32，33，38，40}它们可以通过配备便携式投影仪的无人机远程应用，或者通过将物体嵌入到黑客入侵的面向互联网的数字广告牌上的数字广告中来实现^22，35并且位于公路附近。此外，它们不会在攻击现场留下任何物理法医证据，供调查人员用来追踪事件到攻击者，它们不需要复杂的预处理或专业的传感器欺骗技能，并且它们允许攻击者操纵ADAS障碍检测系统——例如，通过使用汽车、行人的幻影等等。

幻影攻击的演示。在下面描述的实验中，我们使用投影仪演示了对特斯拉Model X (HW 2.5)的幻影攻击。

实验设置。在获得当地政府关闭道路的许可后，我们将一个行人的幽灵投射到一条封闭的道路上。由于当地飞行规定禁止在道路和高速公路附近使用无人机，所以这个幻影不是从无人机上投射出来的。实验是这样进行的:将特斯拉的巡航控制设为每小时18英里(见下图)图2)．

图2。以每小时18英里的速度行驶的特斯拉自动驾驶仪检测到投射在道路上的一个幽灵行人，并认为这是一个真正的障碍(左边的盒子包含其仪表板的快照)，并自动触发刹车(右边的盒子包含后来拍摄的仪表板快照)。

结果和结论。特斯拉自动刹车(从每小时18英里减速到每小时14英里)，以避免与幻影行人相撞。总之，汽车检测到幻影，认为它是一个真正的障碍，并作出相应的反应。读者可以在线观看这个实验的视频。^一个

瞬间幻影攻击的演示。为了隐蔽地实施瞬间幻影攻击，攻击者首先需要确定半自动汽车识别投影/呈现的幻影所需的最短时间。在这个实验中，我们首先展示了攻击者如何确定这一点;然后，基于我们的发现，我们展示了攻击者如何应用瞬间幻影攻击。

分析了幻影出现时间对检测率的影响。在第一个实验中，我们展示了攻击者如何确定呈现幻影的最短时间，以便半自动汽车能够识别它。

实验设置。我们使用了一个投影仪(星云24 FPS¹)来在这组实验中投射瞬间幻影攻击。我们制作了24个视频，每个视频都用于评估瞬间幻影攻击的成功率，其中幻影出现的时间不同。为了模拟一个真实的场景，即幽灵可能出现在任何帧中，我们改变了视频中幽灵每秒钟出现的时间。第一个视频是为一个投影一帧(41毫秒)的幻影而创建的，长度为24秒，其中每秒钟只有一帧呈现一个幻影。在第一个视频开始的第二秒，一个幻影出现在第一帧(其他23帧是空的)。在第一个视频的下一秒，幻影出现在第二帧(其他帧为空)。这种模式一直持续到24岁^th视频的第二段，在这段视频中出现了一个幽灵^th帧(其他帧为空)。第二个视频是为一个连续投影两帧(持续时间为82毫秒)的幻影而创建的，长度为23秒，其中每秒钟连续两帧呈现一个幻影。在第二段视频的开头，第一帧和第二帧出现了一个幻影(其余22帧为空)。在视频的下一秒，幻影出现在第二帧和第三帧(其他22帧为空)。这种模式一直持续到23岁^{理查德·道金斯}视频的第二段，其中有一个幽灵出现在23^{理查德·道金斯}和24^th帧(其他22帧为空)。这种模式一直持续到24岁^th视频，这是为一个连续投影24帧(持续时间为1秒)的幻影创建的，长度为1秒。我们制作了24个视频，记录了停车标志瞬间的幽灵攻击。投影仪被放置在距离半自动驾驶汽车2米的白色屏幕前，用于播放视频。

实验性的协议。我们使用我们创建的视频评估了特斯拉Model X的检测能力。我们报告每个投影持续时间的攻击成功率(检测到幻影的次数除以幻影出现的总次数)。

结果和结论。图3介绍实验结果。根据我们对结果的分析，可以发现一个有趣的现象:持续时间超过416毫秒的幻影路标被检测到，准确率为100%。这一事实可以用ADASs/自动驾驶汽车的性质来解释，它们需要对道路标志做出快速而准确的反应。

图3。攻击成功率是投射持续时间的函数。

演示。在这个实验中，我们通过位于道路附近的数字广告牌上的数字广告演示了对特斯拉Model X (HW 3)的攻击。

实验设置。实验是在我们大学校园的一条封闭道路上进行的，我们得到了安全部门的适当批准。我们在路中间放置了一个42英寸的电视屏幕(用来模拟数字广告牌，并连接到另一辆汽车上以获取电力)。我们使用这个设置来演示攻击，因为，再一次，我们无意入侵一个真正的数字广告牌。我们从YouTube上下载了一个任意的广告，并在广告中嵌入了一个500毫秒的停车标志的幻影，从而创建了用于攻击半自动汽车的广告。我们在路的开始使用特斯拉的自动驾驶仪，特斯拉接近路的中间，那里的电视屏幕上出现了受损的麦当劳广告(嵌入了500毫秒的停止标志)。

结果。图4在屏幕的左上角显示500毫秒的幻影的快照。这次攻击成功了，因为特斯拉的自动驾驶仪识别出了幻影停车标志，并立即触发汽车停在路中间。读者可以在线观看这个实验的视频。^b

图4。出现在数字广告牌左上角的幻影路标会导致特斯拉Model X的自动驾驶仪触发突然停车(仪表盘的快照被红色框住)。

回到顶部

检测幻影攻击

在本节中，我们提出了一种解决感知计算局限性的对策，并评估其在区分真实和虚幻对象方面的性能。

体系结构。虽然自动驾驶汽车也使用雷达和激光雷达来感知车辆的环境，但我们发现这些系统依赖于摄像头传感器来避免犯下潜在的致命错误，例如未能探测到街上的行人。因此，攻击者可以应用幻影攻击和瞬间幻影攻击来触发汽车的反应。为了防止这一点被利用，我们提出了一个专门的基于图像数据的验证模块，它可以通过分析视频帧中被检测到的物体来验证计算机视觉物体检测器的输出。

我们确定了可以从检测到的物体的图像中提取的七个方面:物体的大小、相对视角、焦点、背景、表面、照明和深度。这些方面是通过将不同环境中的数百个幽灵与真实物体的图像进行视觉比较来识别的。我们注意到这个列表可能是不完整的，并且可能存在其他从图像中识别幻影的方法。

---

即使是由一组超声波传感器和前向雷达组成的特斯拉Model X，也会将投射在汽车前方的幻影视为真实物体。

---

虽然有人可能会建议使用单个卷积神经网络(CNN)分类器来完成这项任务，但这种方法会使模型依赖于特定的特征，防止其泛化，并使其容易受到对抗性ML攻击，因为模型可能会过度拟合并获得对特定特征的习得偏差。例如，一个交通标志的光强度是一个明显的标志，但单一的CNN将主要集中在这一方面，使其更难以识别攻击的新表面，更容易利用。因此，我们的目标是设计一种对策，可以通过考虑各个方面(而不是单个方面)来确定检测到的对象是真实的还是虚幻的，并且可以避免在可用方面的子集上学习偏差。

为了做到这一点，我们建议使用一个专家委员会，¹⁸其中一组模型用于检查图像的不同方面，每个模型都提供了不同的视角或解释训练数据的能力。通过分离这些方面，专家委员会将在某些方面无法指示检测到的物体是幻影还是真实的情况下(例如，当交通标志的灯无法指示检测到的交通标志是否是幻影)具有弹性，并通过将网络仅集中在相关特征上来降低误报率。通过建议的方法，专家将能够使用图像中的特定方面来确定检测到的物体是真实的还是虚幻的，并降低总体误报率。考虑到这种方法和设计考虑，我们提出了一种称为GhostBusters的集成方法，它可以验证检测到的对象是幽灵还是真实的。《捉鬼敢死队》由四个模型组成的委员会(分类cnn)和一个最终的集成层组成，该层根据委员会对给定图像的感知做出决定。模型的感知由从模型内层获得的神经激活组成。这些激活(即嵌入)以比模型的最终输出(即预测)更详细的方式捕获模型对样本的观点。如果检测到的对象为虚体，则ADAS可以判断是否信任该检测到的对象。该模型可以用于每一个被检测到的物体，也可以仅用于计算机视觉物体检测器认为紧急的物体——例如，避免与人发生即将发生的碰撞。

对于《捉鬼敢死队》，我们调查了前面提到的后四个方面(背景，表面，照明和深度)，如下所示图5)：

图5。《捉鬼敢死队》的架构。当捕获帧时，(1)计算机视觉目标检测器定位路标，(2)路标被裁剪并传递给上下文、表面、光线和深度模型(即cnn)，(3)组合器模型解释模型的嵌入并对交通标志做出最终决定(真或假)。

上下文模型。作为输入，这个CNN接收上下文:交通标志周围的区域。这个模型的目标是确定标识放置在某个位置是否有意义。

表面模型。作为输入，这个CNN接收标识的表面:全色的裁剪标识。给定一个表面，该模型被训练来预测标志的表面是否真实。例如，一个表面看起来是树叶或砖块的标志是不现实的。

光模式。作为输入，这个CNN接收标识的光强，通过取每个像素的RGB值的最大值来计算。该模型的目标是检测标识的照明是否不规则。

深度模型。作为输入，这个CNN接收图像中风景的表观深度(距离)。为了实现这一点，我们使用Gunnar-Farneback算法计算被检测物体图像的光流¹¹然后把它作为RGB图像输入到CNN。这种方法的意义在于，我们可以在车辆行驶时获得隐式的3D风景视图。这使得模型能够比使用单一摄像头更好地感知标识的位置和形状。

图5演示《捉鬼敢死队》的架构和工作流程。给定ADAS在检测到路标的情况下捕获的一帧图像，从该帧中裁剪路标和周围图像。然后根据模型的每个规范对裁剪区域进行预处理——例如，从上下文模型输入中删除符号。每个预处理的输入被输入到它们各自的模型中，它们的最终嵌入被提取、连接并输入到组合器模型中。基于这些嵌入，组合器模型判断检测到的路标是真还是假。

总的来说，所提出的模型只有100万个参数(相比之下，VGG19等目标探测器有1.38亿个参数)，这使得它可以作为实时系统的附加组件。此外，在下一节中，我们将对所提出的模型进行速度分析，并显示其资源使用也是适度的，GPU使用量约为0.04%，每个符号运行时间为1.2 ms。

回到顶部

评价

设置。为了评估《捉鬼敢死队》，我们使用行车记录仪收集了两个数据集，以捕捉驾驶员的视角。第一个数据集(干净样本)是通过夜间在城市街道上开车获得的，第二个数据集(恶意样本)是通过开车经过投射在9个不同表面上的幽灵获得的。然后，我们使用Arcos-Garcia等人描述的最高性能的交通标志检测器(Faster R-CNN inception ResNetV2)。²检测和裁剪所有的交通标志。使用这两个数据集训练表面、光和运动模型。为了训练上下文模型来了解什么是“坏”上下文，我们创建了第三个随机裁剪的不包含路标的道路数据集。第三个数据集仅用于训练上下文的二进制分类。数据集由中心被遮盖的图像组成。正面图像(“良好的背景”)是经过裁剪的道路图像，在被掩盖之前，标志位于中间。负面图片(“糟糕的背景”)是经过裁剪的道路图片，在被掩盖之前，中间没有任何标志。使用这个数据集，上下文模型被训练来检测仅仅基于上下文的路标是否合适——例如，在路标上，而不是在路中间或天空中。

为了方便地重现数据收集过程，从业人员可以将投影仪安装到车顶，同时获取行车记录仪的镜头。这样做可以更容易地标记数据(因为图像位置是固定的)，并捕获各种各样的攻击面。分别训练上下文、表面、光和深度模型，然后在它们的嵌入上训练组合器模型。在NVIDIA 2080 Ti GPU上进行训练，使用80%的数据进行训练，其余数据用于测试。前两个数据集的合并训练集大小为20,432张图像，第三个数据集的大小为20,658张图像。此外，使用来自前两个数据集的5108张图像的测试集来衡量架构的性能。图6显示来自三个数据集的示例。第一行由来自第三个数据集的样本组成，用于训练上下文模型。第二、第三和第四行是来自其他两个数据集的预处理样本，分别用于训练光、表面和深度模型。注意，深度样本中的颜色和强度分别表示光流的方向和幅度(速度)。

图6。来自三个数据集的模型输入示例。

分别训练上下文、表面、光线和深度模型，然后在它们的嵌入上训练组合器模型。在NVIDIA 2080 Ti GPU上进行训练，使用80%的数据进行训练，其余数据用于测试25个epoch，使用Adam优化器，批处理大小为16，学习率为0.001。我们对《捉鬼敢死队》的专家委员会架构进行了消融研究。我们分析了架构在以下组合中的性能:

• 每个委员会成员都有自己的工作。
• 每个委员会组合，其中一个成员被排除在外。
• 由四位专家组成的联合委员会。

为了评估《捉鬼敢死队》的性能与基线相比，我们在前两个数据集上训练了一个CNN，并比较了它们在同一任务中的性能。我们还执行了一个速度基准来评估《捉鬼敢死队》的运行时间和资源使用情况。

---

未来的一个研究方向是开发、分析和评估用于幽灵路标检测的附加架构。

---

检测性能。表1展示了背景、表面、光照和深度模型的各种组合的ROC (AUC)下的面积，其中所有四种模型的组合是所提出的模型。AUC提供了分类器的整体性能度量(AUC=1:完美预测，AUC=0.5:随机猜测)。此外,表1给出每个组合的选择TPR和FPR值。每个委员会成员的实力都体现在提出的模型(C+S+L+D)优于所有其他模型组合。这一点很重要，因为一个好的委员会由于成员的不同观点而存在分歧。在我们的例子中，最大数量的分歧发生在将所有四个模型组合在一起时，其中90%的样本导致至少一个分歧。

表1。不同阈值下基线模型和对策模型的AUC和TPR/FPR。C:上下文，S:表面，L:光，D:深度。

我们还观察到，委员会模型优于基线模型(在同一任务上训练的单个CNN分类器)，与委员会模型的TPR为0.994相比，后者的TPR为0.976，两者都对应于零的FPR。委员会模型优于基线模型，因为它侧重于相关信息，较少依赖于任何一个方面/特征。最后,表2结果表明，委员会检测模型可以保护7个最先进的道路标志探测器免受幻影攻击和瞬间幻影攻击，平均攻击成功率从~ 90%降低到< 1%。它还表明，当FPR必须调得非常低时(考虑到ADAS检测到的数百万个物体)，防御这些攻击是可能的。中分析的两个决策阈值表1而且2:(1) softmax默认阈值为0.5，(2)每个检测器的调优阈值，确保FPR为零。

表2。使用最先进的交通标志探测器攻击成功的百分比。

消融实验由于所有四种模型的组合提供了最好的结果，这表明每个方面(背景、表面、光线和深度)都对真实和虚幻交通标志之间的差异提供了独特而重要的视角。除了少数情况外，进一步的证据表明每个模型都有独特的贡献表1体系结构的性能随着委员会规模的增加而提高。

检测能力。从防御者的角度来看，必须考虑攻击者逃避检测的下一步。在我们的例子中，攻击者可以执行对抗性机器学习来制作一个投影的路标，这欺骗了物体识别模型和我们的检测器。我们通过使用八种不同的白盒对抗性ML逃避攻击来攻击模型来检验这一点。^{4，5，6，14，20.，21，26，30.}由于GhostBusters考虑了多个方面，攻击者面临着控制每个方面的挑战，而在单个分类器的情况下，攻击者只需要利用模型对其偏爱的方面的依赖。此外，对于深度等方面，攻击者对于如何将投影图像解释为3D对象几乎没有影响。这是因为攻击者只能控制他们投射的像素，而不能控制投射图像的物理属性。特别是，攻击者必须克服的挑战是误导《捉鬼敢死队》中使用的不同模型:

光。与真实的路标相比，幻影路标发出的光比平时更多。此外，如果幻影在汽车前面，汽车的前灯会使投影饱和并抹去许多细节。此外，白天投射的幻影会被阳光淹没。这些挑战增加了攻击者试图误导光模型的难度。

表面。当投射在不平整的表面上时，幻影会收到异常的纹理和颜色图案。例如，砖块、树叶和墙壁都会扭曲投影图像。因此，攻击者受到限制，因为它们必须投射在光滑的表面上。

上下文。路标的上下文是清晰的，标志位于可预测的位置——例如，路标杆。考虑到前面需要在光滑表面上投影的约束，误导上下文模型对攻击者来说是一项困难的任务。

深度。投影到平面上的所有3D对象都不会被深度模型检测为3D。这是因为没有前景/背景，所以整个表面在帧之间会有相同的位移。唯一的例外是道路标志或其他2D物体的投影。在这种情况下，委员会成员的各种观点被用来做出决定。

因此，即使攻击者使用自适应攻击欺骗其中一个模型，组合模型仍然会检测到对象是假的并减轻攻击。例如，通过在平坦的表面上投影路标来欺骗表面模型，这意味着上下文模型会注意到上下文中的不一致，而深度模型会将投影分类为没有深度。此外，如果太阳或汽车的前灯照射在投影上，灯光模型也会注意到投影的光线水平不一致。这些专家结论将导致组合器模型将投影分类为幻影路标。总的来说，我们发现委员会比任何个人专家更能抵御对抗性ML攻击，平均准确率超过50%(参见图7)．

图7。每个专家在各种对抗性攻击下的准确性，无论是单独的还是作为委员会的一部分。^{4，5，6，14，20.，21，26，30.}

速度性能。该模块必须实时运行，并共享车辆的计算资源。因此，我们执行了一个速度基准来衡量其性能。为了执行基准测试，我们使用了NVIDIA 2080 Ti GPU，并处理了100批500个标志。我们发现该模块处理每个符号的平均时间为1.2 ms，偏差为242 ns。这相当于每秒大约838个符号。我们还注意到，该模型相对较小，每个符号只使用0.04%的GPU，每秒838个符号的最高利用率约为35%。

回到顶部

讨论

虽然对象检测器通常实现高性能，但它们本质上是特征匹配器，缺乏驱动程序的判断能力。训练过程可以在训练数据集上产生较高的性能，但在对未见情况的转移判断方面受到限制。

这些看不见的情况可能会在ADASs中产生意想不到的行为，由攻击者使用物理工件触发，例如t恤上的打印，³⁸一个路标,¹⁰广告(彩票)²⁸律师广告³⁷)．或者，攻击者可以在没有物理工件的情况下，通过连接互联网的数字广告牌进行瞬间幻影攻击，从而触发意想不到的行为。这些攻击利用了有限的判断传输，并可能触发ADAS的潜在危险反应。

从更广泛的角度来看，应该把更多的重点放在保护人工智能模型，防止攻击者利用人类和机器之间的差距。我们相信，在创建模型并达到预期的性能水平之后，模型的开发人员应该执行一些额外的步骤来评估模型的安全性。第一步是开发专门的测试，旨在了解模型真正学习到的东西。我们认为，一个模型在测试集上的表现并不能表明它的安全级别。第二步是分析模型的完备性，确定哪些边缘情况在训练过程中没有出现。在第三步中，模型的开发人员应该评估模型在不属于测试集但具有相似特征的实例上的行为。在这样的实例上评估模型的行为可以帮助理解模型的局限性。最后一步旨在通过在具有边缘用例的数据集上重新训练模型，并评估包含此类边缘用例的测试集上的性能，或在由边缘用例组成的数据集上训练额外的模型，并使用这些模型来验证原始模型的输出，从而缩小差距。

这些步骤对于在AI部署的任何领域保护模型都是必要的。它们在自动驾驶中尤其重要，因为对模型的攻击可能会引发危及附近行人/司机的反应。这些步骤可以作为创建在自动驾驶汽车领域和其他领域更难以利用的模型的指导方针的基础。随着自动驾驶汽车被更广泛地采用，它们还有助于提高安全性，甚至有助于赢得公众信任，增加采用。

“捉鬼敢死队”，我们提出的对抗ADASs幻影攻击的对策，在检测幻影路标方面明显优于基线。尽管有了这些改进，其他体系结构可能显示出更大的改进。因此，未来的一个研究方向是开发、分析和评估用于幽灵路标检测的其他架构，并将其与基线和GhostBusters的性能进行比较。此外，由于已部署ADASs中的资源可用性有限，以及需要进行实时路标验证，因此在实现幻影路标检测器时必须考虑架构的资源使用和运行时。我们分析了Ghost-Busters的大小、资源使用和运行时，发现其适度的复杂性适合在ADAS中实现。未来的另一个研究方向是，除性能外，还将从规模、资源使用、运行时间等角度分析和比较各种幻影路标检测架构。

数字请在独家报道中观看作者对这项工作的讨论通信视频。//www.eqigeno.com/videos/protecting-autonomous-cars

回到顶部

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2023 ACM, Inc.

---

没有找到条目