Exploring Safety Generalization Challenges of Large Language Models via Code

本文是LLM系列文章， 针对《Exploring Safety Generalization Challenges of Large Language Models via Code》的翻译。

摘要

大型语言模型（LLM）的快速发展带来了显著的生成能力，但也引发了人们对其潜在误用的担忧。虽然监督微调和从人类反馈中强化学习等策略提高了它们的安全性，但这些方法主要关注自然语言，可能不会推广到其他领域。本文介绍了CodeAttack，这是一个将自然语言输入转换为代码输入的框架，为测试LLM的安全泛化提供了一个新的环境。我们对包括GPT-4、Claude-2和Llama-2系列在内的最先进LLM的全面研究揭示了这些模型在代码输入时的一个常见安全漏洞：CodeAttack在80%以上的时间里绕过了所有模型的安全护栏。我们发现，CodeAttack与自然语言之间的分布差距较大，导致安全泛化能力较弱，例如用数据结构对自然语言输入进行编码。此外，我们对CodeAttack的成功提出了两个假设：（1）LLM在代码训练过程中获得的错位偏差，将代码完成置于避免潜在安全风险之上；（2） 关于其代码输出的安全性的有限的自我评估能力。最后，我们分析了潜在的缓解措施。这些发现突出了代码域中的新安全风险，以及需要更稳健的安全对齐算法来匹配LLM的代码能力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项研究中，我们揭示了在面对新场景（如代码）时，大型语言模型（LLM）的安全机制中的泛化问题。我们介绍了CodeAttack，这是一种新颖的框架，它将文本补全任务重新定义为代码补全任务。我们的实验结果表明，CodeAttack