How Small Changes and Jailbreaks Affect Large Language Model Performance

UnknownBody

于 2024-02-06 10:00:15 发布

阅读量332

点赞数 10

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136051416

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文研究提示变化如何影响大型语言模型（LLM）的预测，发现即使是最小的提示改动也可能导致LLM答案变化。越狱级别的变动会对性能造成显著影响，特别是XML和某些输出格式规范可能导致性能下降。未来工作将聚焦于使LLM对提示变化更具韧性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《The Butterfly Effect of Altering Prompts: How Small Changes and
Jailbreaks Affect Large Language Model Performance》的翻译。

摘要

大型语言模型（LLM）经常被用于标记跨多个域和无数任务的数据。通过简单地向LLM询问答案或“提示”，从业者能够使用LLM快速获得任意任务的响应。这种提示是通过从业者的一系列决定来完成的，从简单的提示措辞，到以特定数据格式请求输出，再到针对更敏感主题的提示时的越狱变动。在这项工作中，我们要问：提示构建方式的变化是否会改变LLM的最终决定？我们在各种文本分类任务中使用一系列提示变化来回答这个问题。我们发现，即使是最小的扰动，比如在提示的末尾添加一个空间，也会导致LLM改变其答案。此外，我们发现，在XML和常用的越狱级变动中请求响应可能会对LLM标记的数据产生灾难性影响。我们的代码在https://github.com/Abel2Code/The_Butterfly_Effect_of_Prompts上可用。