FEEL: A Framework for Evaluating Emotional Support Capability with Large Language Models

本文是LLM系列文章，针对《FEEL: A Framework for Evaluating Emotional Support Capability with Large Language Models》的翻译。

摘要

情感支持对话（ESC）是一种典型的对话，可以有效地帮助用户缓解情绪压力。然而，由于分析情绪所涉及的固有主观性，目前的非人工方法在有效评估情绪支持能力方面面临挑战。这些指标与人类判断的相关性很低。同时，人工评估方法极其昂贵。为了解决这些问题，我们提出了一种新的模型FEEL（用大语言模型评估情感支持能力的框架），使用大语言模型（LLM）作为评估者来评估情感支持功能。该模型仔细考虑了ESC的各个评价方面，为ESC提供了一种更全面、更准确的评价方法。此外，它采用了概率分布方法来获得更稳定的结果，并集成了集成学习策略，利用具有指定权重的多个LLM来提高评估准确性。为了评估FEEL的性能，我们对现有的ESC模型对话进行了广泛的实验。实验结果表明，与基线相比，我们的模型在与人类评估的一致性方面表现出显著的增强。我们的源代码在https://github.com/Ansisy/FEEL上可用。

1 引言

2 相关工作

3 方法

4 实验和结果

5 结论

在本文中，我们引入了一种基于LLM的评估者FEEL来评估对话系统中的情感支持能力。同时，我们系统而详细地重新定义了ESC的评估方面，并注释了一个高质量的人类得分数据集ESCEval。对比实验结果表明，与现有的自动评价指标相比，FEEL具有更高的人因一致性。它说明了FEEL有效应对与评估