【AI大模型】自动生成红队攻击提示--GPTFUZZER

本篇参考论文为：
Yu J, Lin X, Xing X. Gptfuzzer: Red teaming large language models with auto-generated jailbreak prompts[J]. arXiv preprint arXiv:2309.10253, 2023.
https://arxiv.org/pdf/2309.10253

一 背景

虽然LLM在今天的各个领域得到了广泛的运用，但是LLM并不一定完全可靠，它有时会产生有毒或者误导性的内容，并且有时候还会产生一些“幻觉”，从而导致一些不真实或者毫无意义的输出。

越狱攻击
越狱攻击是使用精心制作的提示来绕过LLM保护措施，潜在地引发有害的响应。在释放LLM潜力的同时，这些攻击也可能产生违反提供商指导方针甚至法律界限的输出。
现在大多数现有的越狱攻击研究主要依赖于手工制作提示符，虽然这些手工制作的提示可以很好地修改为特定的LLM行为，但这种方法有几个固有的局限性:
手动制作prompt的局限性主要包括以下几个方面：

可扩展性差：随着LLM的数量和版本增加，手动设计prompt变得不切实际。每个模型都需要定制的prompt，这会导致大量重复劳动和难以管理的工作量。
劳动力密集型：制作有效的prompt需要深入了解LLM的行为，并投入大量的时间和精力。这使得安全性测试变得昂贵，特别是考虑到LLM的持续更新和进化。
覆盖范围有限：人工方法可能无法完全覆盖所有的漏洞，因为它们受到人类偏见和注意力的限制。自动化的系统可以探索更广泛的潜在漏洞，提供更全面的健壮性评估。
适应性差：