Jailbreak Attacks and Defenses Against Large Language Models: A Survey

本文是LLM系列文章，针对《Jailbreak Attacks and Defenses Against Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）在各种文本生成任务中表现出色，包括问答、翻译、代码补全等。然而，LLM 的过度协助带来了“越狱”的挑战，这导致模型生成通过设计对抗性提示来恶意应对使用政策和社会。随着利用LLM不同漏洞的越狱攻击方法的出现，相应的安全调整措施也在不断发展。在本文中，我们提出了全面而详细的越狱攻击和防御方法的分类。例如，根据目标模型的透明性，将攻击方法分为黑盒攻击和白盒攻击。同时，我们将防御方法分为提示级防御和模型级防御。此外，我们进一步将这些攻击和防御方法细分为不同的子类，并提供一个连贯的图表来说明它们的关系。我们还对当前的评估方法进行了调查，并从不同角度进行了比较。我们的研究结果旨在激发未来的研究和实际实施，以保护LLM免受对抗性攻击。最重要的是，尽管越狱仍然是社区中的一个重大问题，但我们相信我们的工作增强了对该领域的理解，并为开发更安全的LLM奠定了基础。

1 引言

2 相关工作

3 攻击方法

4 防御方法

5 评估

6 结论

在本文中，我们提出了越狱LLM中攻击和防御方法的全面分类，以及证明它们关系的详细范例。我们总结了现有的工作，发现攻击