How Small Changes and Jailbreaks Affect Large Language Model Performance

本文是LLM系列文章，针对《The Butterfly Effect of Altering Prompts: How Small Changes and
Jailbreaks Affect Large Language Model Performance》的翻译。

摘要

大型语言模型（LLM）经常被用于标记跨多个域和无数任务的数据。通过简单地向LLM询问答案或“提示”，从业者能够使用LLM快速获得任意任务的响应。这种提示是通过从业者的一系列决定来完成的，从简单的提示措辞，到以特定数据格式请求输出，再到针对更敏感主题的提示时的越狱变动。在这项工作中，我们要问：提示构建方式的变化是否会改变LLM的最终决定？我们在各种文本分类任务中使用一系列提示变化来回答这个问题。我们发现，即使是最小的扰动，比如在提示的末尾添加一个空间，也会导致LLM改变其答案。此外，我们发现，在XML和常用的越狱级变动中请求响应可能会对LLM标记的数据产生灾难性影响。我们的代码在https://github.com/Abel2Code/The_Butterfly_Effect_of_Prompts上可用。

1 引言

2 相关工作

3 方法

4 结果

5 结论

在本文中，我们研究了简单和常用的提示变化如何影响LLM的预测。我们证明，即使是微小的提示变化也会改变相当大比例的预测。也就是说，尽管有一部分标签发生了变化，但大多数扰动都产生了类似的精度。我们发现越狱级变动会导致相当大的性能损失。AIM和Dev Mode v2越狱导致拒绝率约为90%。此外，虽然邪恶的自信和