HD-EVAL: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition

本文介绍了一种名为HD-EVAL的新框架,旨在解决大型语言模型(LLM)评估的一致性和覆盖率问题。通过将评估任务分解为细粒度标准并迭代地与人类偏好对齐,HD-EVAL提高了基于LLM的评估者的准确性和解释性。实验表明,HD-EVAL在多个NLG评估任务上优于现有方法,提供了更深入的评估结果解释和任务洞察。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《HD-EVAL: Aligning Large Language Model Evaluators Through
Hierarchical Criteria Decomposition》的翻译。

HD-EVAL:通过层次标准分解对齐大型语言模型评估器

摘要

大型语言模型(LLM)已经成为一种很有前途的替代昂贵的人工评估的方法。然而,基于LLM的评估的一致性和覆盖范围往往受到评估提示和标准的范围和潜在偏差的限制。为了应对这一挑战,我们提出了HD-EVAL,这是一种新的框架,通过分层标准分解将基于LLM评估的评估者与人类偏好迭代地一致。HD-EVAL继承了人类专家评估思维的精髓,通过将给定的评估任务分解为更细粒度的标准,根据估计的人类偏好对其进行聚合,将不重要的标准与归因进行修剪,并进一步分解重要的标准,增强了基于LLM的评估者的一致性。通过将这些步骤集成到迭代一致性训练过程中,我们获得了标准的分层分解,可以在多个粒度级别上全面捕捉自然语言的各个方面。作为一个白盒实现,人工偏好引导聚合器训练效率高,比仅仅依靠提示更容易解释,而且它与模型参数的独立性使其适用于闭源LLM。在三个评估领域进行的广泛实验表明,HD-EVAL在进一步调整最先进的评估人员以及对评估结果的解释和任务本身提供更深入的见解方面具有优势。

1 引言

2 方法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值