FEEL: A Framework for Evaluating Emotional Support Capability with Large Language Models

UnknownBody

于 2024-06-12 14:27:12 发布

阅读量192

点赞数

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139624559

版权

LLM Daily 专栏收录该内容

1259 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了一种名为FEEL的框架，该框架利用大语言模型（LLM）来评估情感支持对话（ESC）的能力。针对现有评估方法的不足，FEEL提供了更全面、准确的评价标准，并通过集成学习提升评估准确性。实验证明，FEEL在与人类评估一致性上表现出优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《FEEL: A Framework for Evaluating Emotional Support Capability with Large Language Models》的翻译。

摘要

情感支持对话（ESC）是一种典型的对话，可以有效地帮助用户缓解情绪压力。然而，由于分析情绪所涉及的固有主观性，目前的非人工方法在有效评估情绪支持能力方面面临挑战。这些指标与人类判断的相关性很低。同时，人工评估方法极其昂贵。为了解决这些问题，我们提出了一种新的模型FEEL（用大语言模型评估情感支持能力的框架），使用大语言模型（LLM）作为评估者来评估情感支持功能。该模型仔细考虑了ESC的各个评价方面，为ESC提供了一种更全面、更准确的评价方法。此外，它采用了概率分布方法来获得更稳定的结果，并集成了集成学习策略，利用具有指定权重的多个LLM来提高评估准确性。为了评估FEEL的性能，我们对现有的ESC模型对话进行了广泛的实验。实验结果表明，与基线相比，我们的模型在与人类评估的一致性方面表现出显著的增强。我们的源代码在https://github.com/Ansisy/FEEL上可用。