Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models

文章核心内容与创新点总结

一、主要内容

该研究聚焦于“对抗性诗歌”作为大型语言模型（LLMs）的通用单轮越狱机制，通过系统实验验证其有效性与普适性：

1. 实验设计：涵盖9家提供商（Google、OpenAI、Anthropic等）的25个前沿专有及开源模型，构建20个手工编写的对抗性诗歌提示词，并将1200个MLCommons有害提示词通过标准化元提示词转化为诗歌形式，从CBRN危害、失控场景、有害操纵、网络攻击等多风险领域展开测试。
2. 评估方法：采用3个开源LLM（gpt-oss-120B、kimi-k2-thinking、deepseek-r1）组成的集成评判模型，结合人类标注验证的二元安全评估体系，计算攻击成功率（ASR）。
3. 核心发现：
   • 手工编写的对抗性诗歌平均ASR达62%，部分模型（如Google Gemini-2.5-pro）高达100%；元提示词转化的诗歌ASR约43%，较散文基线最高提升18倍。
   • 该漏洞跨模型、跨领域通用，覆盖所有测试模型家族及MLCommons和欧盟CoP风险分类中的核心领域。
   • 模型表现存在显著差异：小型模型往往比大型模型更具抗性，OpenAI和Anthropic的模型安全性优于Google、Deepseek等提供商的产品。

二、创新点

1. 提出全新越狱机制