Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation

本文是LLM系列文章，针对《Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation》的翻译。

摘要

在会话推荐系统的评估中，合成用户是真实用户的具有成本效益的代理。大型语言模型在模拟类人行为方面表现出了希望，这就提出了它们代表不同用户群体的能力问题。我们引入了一种新的协议来衡量语言模型在会话推荐中准确模仿人类行为的程度。该协议由五个任务组成，每个任务都旨在评估合成用户应该表现出的关键特性：选择要谈论的项目、表达二元偏好、表达开放式偏好、请求推荐和提供反馈。通过对基线模拟器的评估，我们证明了这些任务有效地揭示了语言模型与人类行为的偏差，并就如何通过模型选择和提示策略来减少偏差提供了见解。

1 引言

2 评估任务

3 方法

4 实验

5 相关工作

6 结论

我们介绍了一种新的协议，用于评估LLM作为会话推荐的用户模拟器。我们设计了五个评估任务，其中每个任务都解决了模拟器成为现实用户代理的一个基本属性。通过在模拟器上运行任务，我们展示了任务如何有效地揭示模拟器与真实用户的差异。我们的工作旨在为自动评估模拟器设定一个基准，并制定未来计划以增强其真实性。

局