15、对抗视觉挑战：推动鲁棒模型与攻击方法发展

对抗视觉挑战：推动鲁棒模型与攻击方法发展

1. 动机

人类和机器感知存在显著差异，现代机器视觉算法对输入的微小、几乎难以察觉的扰动极为敏感。只需精心选择的少量图像噪声，就能使神经网络的目标识别出错，比如将狗的预测结果变为香蕉。这种扰动被称为对抗性扰动，寻找它们的算法则是对抗性攻击。

对抗性扰动揭示了当前深度神经网络的决策基于相关性而非因果特征。从安全角度看，这令人担忧，因为它为操纵感官信号提供了途径，人类难以察觉，但会严重影响机器决策。例如，可通过微小图像操作绕过不适宜内容过滤器，或通过对文本或图像的细微修改误导内容分类过滤器。

目前，现有的攻击方法在威胁自动驾驶汽车等现实应用方面成效有限，因为这些应用不会向攻击者提供梯度或置信度等内部模型信息。即使能获取内部信息，大多数现有攻击也容易被梯度掩码或固有噪声等简单手段化解。本次竞赛的一个重要目标是推动开发更强、查询效率更高的攻击方法，即仅依赖最终决策的决策型攻击。这种攻击在现实场景中非常重要，且比基于迁移或梯度的攻击更难防御。

对抗性示例表明，神经网络在视觉感知中所依赖的因果特征与人类不同。缩小这一差距具有重要意义，它能使神经网络应用于安全关键领域，提高其可解释性，加深对人类视觉系统的理解，并增强特征学习的可迁移性。然而，尽管有诸多优势和相关研究，但在复杂视觉任务（如目标识别）中，构建更鲁棒的神经网络进展甚微。核心问题在于模型鲁棒性的评估，一个模型可能看似鲁棒，只是因为针对它的攻击失败了，但多数攻击失败是由于梯度掩码等简单副作用。因此，如同密码学一样，模型鲁棒性的真正考验是它能否抵御专门为其设计的攻击。本次竞赛采用了双方博弈的形式，让模型和攻击不断对抗，促进了攻击方法适应模型防御策略，模型也逐渐学会更好地抵御强大