计算机科研杂货铺

基于深度学习的技术在各种各样的识别和分类任务上取得了最先进的性能。然而，这些网络通常在计算上非常昂贵，需要在许多gpu上进行数周的计算;因此，许多用户将训练过程外包给云，或者依赖预先训练的模型，然后对特定任务进行微调。在本文中，我们表明外包训练引入了新的安全风险:攻击者可以创建一个恶意训练的网络(后门神经网络，或BadNet)，它在用户的训练和验证样本上具有最先进的性能，但在攻击者选择的特定输入上表现不佳。我们首先在一个玩具示例中通过创建一个后门手写数字分类器来探索BadNets的属性。

后门攻击是深度学习系统在安全关键场景中的主要威胁，其目的是在攻击者控制的条件下触发神经网络模型的不当行为。然而，大多数后门攻击必须通过使用有毒数据和或直接编辑模型来修改神经网络模型，这导致了一种常见但错误的信念，即通过适当保护模型可以很容易地避免后门攻击。在本文中，我们证明了后门攻击可以在不修改模型的情况下实现。我们不向训练数据或模型中注入后门逻辑，而是在摄像机前放置一个精心设计的补丁(即后门补丁)，与输入的图像一起馈送到模型中。

针对神经网络的后门攻击已经被深入研究，攻击者破坏了受害者模型的完整性，导致它对包含特定触发器的推理样本做出错误的预测。为了使触发器更加难以察觉，人们提出了各种隐蔽的后门攻击，一些作品采用不可察觉的扰动作为后门触发器，限制了被触发图像和干净图像的像素差异。有些作品使用特殊的图像样式(如反射，Instagram滤镜)作为后门触发器。然而，这些攻击牺牲了鲁棒性，并且可以很容易地被基于预处理的常见防御所击败。本文提出了一种同时具有鲁棒性和隐身性的彩色后门攻击方法。我们攻击的关键观点是对所有像素应用统一的。

现代自动驾驶汽车采用最先进的DNN模型来解释传感器数据和感知环境。然而，DNN模型容易受到不同类型的对抗攻击，对车辆和乘客的安全构成重大风险。一个突出的威胁是后门攻击，敌手可以通过毒害训练样本来破坏DNN模型。尽管对传统计算机视觉任务的后门攻击进行了大量的研究，但其在自动驾驶场景中的实用性和适用性还很少探索，尤其是在物理世界中。本文的目标是车道检测系统，它是许多自动驾驶任务不可或缺的模块，如导航、车道切换。设计并实现了针对该系统的第一次物理后门攻击。我们的攻击对不同类型的车道线检测算法都是有效的。

最近的研究表明，深度神经网络(dnn)在使用第三方资源(如训练样本或主干)进行训练时容易受到后门威胁。后门模型在预测良性样本方面具有良好的性能，然而，基于使用预定义的触发模式激活其后门，其预测可能被对手恶意操纵。目前，现有的大多数后门攻击都是针对目标方式下的图像分类进行的。在本文中，我们揭示了这些威胁也可能发生在目标检测中，对许多关键任务应用(例如行人检测和智能监控系统)构成威胁风险。具体来说，我们设计了一种简单而有效的基于任务特征的无目标后门攻击。

针对深度神经网络(DNN)模型的后门攻击已被广泛研究。针对不同的领域和范式提出了各种攻击技术，如图像、点云、自然语言处理、迁移学习等。在DNN模型中嵌入后门最常用的方法是毒害训练数据。他们通常从良性训练集中随机选择样本进行投毒，而不考虑每个样本对后门有效性的不同贡献，使得攻击不太理想。最近的一项研究[40]提出使用遗忘分数来衡量每个中毒样本的重要性，然后过滤掉冗余数据以进行有效的后门训练。然而，这种方法是经验设计的，没有理论证明。它也非常耗时，因为它需要经过几个训练阶段来进行数据选择。