Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues

本文是LLM系列文章，针对《Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues》的翻译。

摘要

在这项工作中，我们的目标是开发LLM代理，以减轻多代理环境中谈判中违反社会规范的行为。我们通过让两个大型语言模型（LLM）在每次对话中扮演两个谈判者的角色来模拟真实世界的谈判。第三个LLM充当补救代理，重写违反规范的话语，以改善谈判结果。由于这是一项新颖的任务，因此无法获得手动构建的数据。为了解决这一限制，我们引入了一种基于价值影响的上下文学习（ICL）方法，为基于LLM的补救代理识别高质量的ICL示例，其中价值影响函数衡量谈判结果的质量。我们展示了这种方法与政策学习的联系，并提供了丰富的经验证据来证明其在三个不同主题的谈判中的有效性：产品销售、房价和工资谈判。源代码和生成的数据集将在接受后公开。

1 引言

2 艰难谈判的辅助系统

3 具有高价值影响的示例

4 实验

5 相关工作

6 结论

在这项工作中，我们建议研究在多主体环境中协商中补救违反社会规范行为的有效性。由于缺乏数据，我们提示两个LLM生成对话，并应用另一个基于LLM的代理作为补救程序来减轻发生的违规行为。为了解决广泛使用的最近邻方法在ICL示例选择中的局限性，我们提出了一种基于价值影响的方法，该方法在所有评估主题的广泛实验中显示了其有效性。相反，现有的ICL示例选择方法要么需要访问模型参数，例如基于梯度的核心集选择方法，要么需要访问与真实值任务相关的标签。