Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models

本文是LLM系列文章，针对《Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models》的翻译。

摘要

准确和可解释的用户满意度估计（USE）对于理解、评估和持续改进会话系统至关重要。用户对通用（ChatGPT和Bing Copilot）和面向任务（客服聊天机器人）对话系统中的不同对话模式表示满意或不满。现有的基于特征化ML模型或文本嵌入的方法在提取可推广模式方面存在不足，并且难以解释。在这项工作中，我们表明LLM可以比基于嵌入的方法更有效地从用户的自然语言话语中提取可解释的用户满意度信号。此外，LLM可以通过使用标记示例的监督的迭代提示框架来针对USE进行定制。我们提出的方法，用户满意度的监督提示准则（SPUR），不仅具有更高的准确性，而且更具可解释性，因为它通过具有详细细分的学习准则来评分用户满意度。

1 引言

2 问题定义和相关工作

3 SPUR

4 评估

5 结论和局限性

在本文中，我们提出了用户满意度的监督提示准则（SPUR），这是一种用于估计会话系统中LLM的用户满意度的新框架。我们证明，在不同类型的会话系统中，SPUR在用户满意度估计方面优于现有方法，还深入了解了影响用户满意度的因素。此外，SPUR更具可解释性，因为它自动根据Rubric Summary提示对观察到的用户行为的满意度维度进行推理/评分。我们还展示了我们的准则在知识蒸馏和覆盖率分析中的实用性。最后，我们通过将量规项目得分与会话嵌入作为特征相结合，展示了我们的模型对不同训练集大小的效用，并观察到这些量规为USE的性能改进提供