2025_NIPS_CoP: Agentic Red-teaming for Large Language Models using Composition of Principles

一、文章主要内容总结

该研究针对大型语言模型（LLMs）的越狱攻击与红队测试问题，提出了一种基于原则组合（Composition-of-Principles, CoP） 的智能体驱动红队测试框架。核心目标是通过自动化、可扩展的方式发现LLMs的安全漏洞，解决现有红队测试方法效率低、资源消耗大、缺乏透明度等问题。

核心背景

现有LLMs虽通过RLHF、SFT等技术实现安全对齐，但仍易受越狱攻击（如诱导生成有害内容、恶意代码等）。传统红队测试方法（如GCG、PAIR、AutoDAN-Turbo）存在诸多局限：计算资源消耗大、搜索空间冗余、需针对目标模型重新初始化策略库、对高安全对齐模型攻击成功率低（仅36.6%左右）。

框架设计

CoP框架包含三大核心组件，形成闭环工作流：

1. 红队智能体（Red-Teaming Agent）：核心组件，负责将原始恶意查询转换为初始越狱提示（解决“直接拒绝”问题），并基于人类定义的红队原则组合生成优化的越狱提示。支持多原则动态组合（如“扩展+短语插入”），而非单一策略。
2. 目标模型（Target LLM）：待测试的LLM（含开源模型如Llama系列、Gemma，闭源模型如GPT-4-Turbo、Claude-3.5-Sonnet），需通过黑盒访问（仅观察输出）完成测试。
3. 评判模型（Judge LLM）：采用双评估体系，既评分越狱成功率（1-10分），又验证越狱提示