How Small Changes and Jailbreaks Affect Large Language Model Performance

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量344

点赞数 10

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136051416

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文研究提示变化如何影响大型语言模型（LLM）的预测，发现即使是最小的提示改动也可能导致LLM答案变化。越狱级别的变动会对性能造成显著影响，特别是XML和某些输出格式规范可能导致性能下降。未来工作将聚焦于使LLM对提示变化更具韧性。

本文是LLM系列文章，针对《The Butterfly Effect of Altering Prompts: How Small Changes and
Jailbreaks Affect Large Language Model Performance》的翻译。

摘要

大型语言模型（LLM）经常被用于标记跨多个域和无数任务的数据。通过简单地向LLM询问答案或“提示”，从业者能够使用LLM快速获得任意任务的响应。这种提示是通过从业者的一系列决定来完成的，从简单的提示措辞，到以特定数据格式请求输出，再到针对更敏感主题的提示时的越狱变动。在这项工作中，我们要问：提示构建方式的变化是否会改变LLM的最终决定？我们在各种文本分类任务中使用一系列提示变化来回答这个问题。我们发现，即使是最小的扰动，比如在提示的末尾添加一个空间，也会导致LLM改变其答案。此外，我们发现，在XML和常用的越狱级变动中请求响应可能会对LLM标记的数据产生灾难性影响。我们的代码在https://github.com/Abel2Code/The_Butterfly_Effect_of_Prompts上可用。

1 引言

2 相关工作

3 方法

4 结果

5 结论

在本文中，我们研究了简单和常用的提示变化如何影响LLM的预测。我们证明，即使是微小的提示变化也会改变相当大比例的预测。也就是说，尽管有一部分标签发生了变化，但大多数扰动都产生了类似的精度。我们发现越狱级变动会导致相当大的性能损失。AIM和Dev Mode v2越狱导致拒绝率约为90%。此外，虽然邪恶的自信和

了解本专栏