RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models

本文是LLM系列文章，针对《RefuteBench: Evaluating Refuting Instruction-Following for Large
Language Models》的翻译。

摘要

大型语言模型（LLM）的应用范围正在日益扩大。在实际使用中，用户可能会根据模型的输出提供反馈，希望有一个响应模型能够根据他们的反馈完成响应。该模型是否能够适当地回应用户的反驳反馈，并始终如一地执行，还没有得到彻底的分析。有鉴于此，本文提出了一个全面的基准RefuteBench，涵盖问答、机器翻译和电子邮件写作等任务。该评估旨在评估模型是否能够积极接受反驳指令形式的反馈，以及它们是否能够在整个对话中始终如一地遵守用户需求。我们对许多LLM进行了评估，发现LLM很顽固，即倾向于其内部知识，经常不遵守用户反馈。此外，随着对话长度的增加，模型会逐渐忘记用户所说的反馈，转而使用自己的回答。我们进一步提出了召回和重复提示，作为一种简单有效的方法来提高模型对反馈的响应能力。

1 引言

2 相关工作

3 问题定义

4 数据收集

5 实验结果

6 分析

7 结论

在本文中，我们提出了一个基准RefuteBench，该基准侧重于通过多轮交互评估LLM的顽固性。我们设计了来自知识、多种语言和