Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators

UnknownBody

于 2024-02-29 11:00:46 发布

阅读量421

点赞数 7

分类专栏： LLM Evaluation 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136365187

版权

LLM Evaluation 同时被 2 个专栏收录

85 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

本文提出SCALEEVAL，一种利用代理辩论进行的可扩展元评估框架，旨在可靠且高效地评估大型语言模型（LLM）在不同任务和场景中的评估性能。该框架通过多轮讨论减少人工注释的工作量，适用于新场景。研究表明，LLM作为评估者的效能会因提示格式的改变而变化，该框架开源以推动相关领域研究。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate》的翻译。

摘要

尽管大型语言模型（LLM）在各种任务和场景中都很有用，但开发一种在不同背景下可靠评估LLM的方法仍然具有挑战性。现代评估方法通常使用LLM来评估LLM产生的反应。然而，为评估这些LLM作为评估者的有效性而进行的元评估通常受到现有基准覆盖范围的限制，或者需要大量的人工注释。这突出了可扩展元评估方法的紧迫性，该方法可以有效、可靠、高效地评估LLM作为评估者在不同任务和场景中的性能，特别是在潜在的新的用户定义场景中。为了填补这一空白，我们提出了SCALEEVAL，这是一个代理辩论辅助的元评估框架，利用了多个交际LLM代理的能力。该框架支持多轮讨论，以帮助注释人员将最有能力的LLM识别为评估者，这大大减轻了他们在元评估期间需要大规模注释的情况下的工作量。我们发布了框架的代码，可在以下网址公开获取：https://github.com/GAIR-NLP/scaleeval。