Exploring Safety Generalization Challenges of Large Language Models via Code

UnknownBody

于 2024-05-27 14:34:21 发布

阅读量115

点赞数

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139236651

版权

LLM Daily 同时被 3 个专栏收录

1273 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Security and Privacy

70 篇文章

订阅专栏

LLM for code

41 篇文章

订阅专栏

本文探讨了大型语言模型（LLM）在处理代码输入时的安全性问题，提出CodeAttack框架来测试LLM的安全泛化能力。研究发现，即使是最先进的LLM如GPT-4、Claude-2和Llama-2，也存在高达80%以上的安全漏洞，且在代码任务中安全机制表现不佳。CodeAttack揭示了LLM在代码域的安全风险，呼吁发展更稳健的安全对齐算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Exploring Safety Generalization Challenges of Large Language Models via Code》的翻译。

摘要

大型语言模型（LLM）的快速发展带来了显著的生成能力，但也引发了人们对其潜在误用的担忧。虽然监督微调和从人类反馈中强化学习等策略提高了它们的安全性，但这些方法主要关注自然语言，可能不会推广到其他领域。本文介绍了CodeAttack，这是一个将自然语言输入转换为代码输入的框架，为测试LLM的安全泛化提供了一个新的环境。我们对包括GPT-4、Claude-2和Llama-2系列在内的最先进LLM的全面研究揭示了这些模型在代码输入时的一个常见安全漏洞：CodeAttack在80%以上的时间里绕过了所有模型的安全护栏。我们发现，CodeAttack与自然语言之间的分布差距较大，导致安全泛化能力较弱，例如用数据结构对自然语言输入进行编码。此外，我们对CodeAttack的成功提出了两个假设：（1）LLM在代码训练过程中获得的错位偏差，将代码完成置于避免潜在安全风险之上；（2）关于其代码输出的安全性的有限的自我评估能力。最后，我们分析了潜在的缓解措施。这些发现突出了代码域中的新安全风险，以及需要更稳健的安全对齐算法来匹配LLM的代码能力。