【AI安全】Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

近日，OpenAI、Anthropic、Google DeepMind 这三大竞争对手，居然联手发表了一篇论文，共同研究语言模型的安全防御评估。

• 论文标题：The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections
• 论文地址：https://arxiv.org/pdf/2510.09023

本文主要围绕一个问题展开：**我们该如何评估语言模型防御机制的鲁棒性？**要知道，目前针对越狱和提示注入的防御措施（前者旨在防止攻击者诱导模型输出有害内容，后者旨在防止攻击者远程触发恶意行为）主要采用如下手段：

1. 使用一组固定的、有害攻击样本进行静态测试；
2. 要么依赖于一些计算能力较弱的优化方法，这些方法在设计时并未考虑到具体的防御机制。

换句话说，现有的防御评估大多是纸上谈兵，并没有真正模拟出一个懂防御、会反制的强攻击者。所以说，当前的评估流程是有缺陷的。

这篇文章就是为了解决上述问题。