LLMEval: A Preliminary Study on How to Evaluate Large Language Models

最新推荐文章于 2025-04-25 17:13:23 发布
最新推荐文章于 2025-04-25 17:13:23 发布
阅读量598 收藏 8
点赞数 8
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135700333
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文深入探讨了如何评估大型语言模型（LLM），重点关注评估标准、环境和方法。研究发现，信息性和准确性是关键评估因素，现场星级评分在手动评估中效果最佳，而自动化评估在覆盖大量任务时具有优势。尽管如此，主观问题的评估仍存在挑战。

本文是LLM系列文章，针对《LLMEval: A Preliminary Study on How to Evaluate Large Language Models》的翻译。

LLMEval：大型语言模型评价初探

摘要

近年来，大型语言模型的评价已成为一个热门的研究领域。LLM评估的三个关键问题是“评估什么、在哪里以及如何评估”。然而，现有的研究主要集中在前两个问题上，基本上是在测试过程中给LLM什么任务，以及它应该处理什么样的知识。至于第三个问题，即使用什么标准、评估者的类型、如何评分和如何排名，还没有太多讨论。在本文中，我们通过比较手动和自动评估的各种标准，利用现场、众包、公共注释器和GPT4，以及不同的评分方法和排名系统，分析了评估方法。我们提出了一个新的数据集LLMEval，并对20个LLM进行了评估。共有2186人参与，生成了243337个手动注释和57511个自动评估结果。我们对不同的环境进行了比较和分析，得出了10个结论，这些结论可以为未来评估LLM提供一些见解。数据集和结果在https://github.com/llmeval上可用.

1 引言

2 设计

3 实验

4 结果

5 细节

6 相关工作

7 讨论

在我们的研究中，我们发现评估LLM最有区别的标准是信息性和准确性。今后，我们将继续在今后的评价中优先考虑这些方面。
此外，我们的研究表明，就准确性、一致性和LLM评估者之间的一致性而言，现场星级评分是最佳

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

TencentLLMEval: A Hierarchical Evaluation of Real-World Capabilities for Human-Aligned LLMs
c_cpp_csharp的专栏
11-22 227
大型语言模型（LLM）在各种自然语言任务中表现出了令人印象深刻的能力。然而，评估它们与人类偏好的一致性仍然是一个挑战。为此，我们提出了一个全面的人类评估框架，以评估LLM在不同现实世界任务中遵循指示的熟练程度。我们构建了一个包含7个主要领域的分层任务树，涵盖200多个类别和800多个任务，涵盖了问答、推理、多回合对话和文本生成等多种能力，以全面深入地评估LLM。我们还设计了详细的评估标准和流程，以促进人类评估者做出一致、公正的判断。3000多个测试集实例发布，跨越不同的难度级别和知识领域。
LLM 大模型实用指南 | The Practical Guides for Large Language Models
热门推荐
AI天才研究院
05-31 1万+
LLM 大模型实用指南 | The Practical Guides for Large Language Models。
AB实验人群定向HTE模型1 - Causal Tree
2401_84495725的博客
05-29 1046
Treatment effect之所以比通常的预测问题要更难解决，因为groud-truth在现实中是无法直接观测到的，一个人在同一时刻要么吃药要不么吃药，所以你永远无法知道吃药的人要是没吃药血压会不会也降低，或者没吃药的人要是吃了药血压会不会降低。相似的问题经常出现在经济，政治决策，医疗研究以及当下的互联网AB测试中。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
LLM Evals「大模型及其应用评测」
最新发布
qq_24085097的博客
04-25 915
LLM Evals（Large Language Model Evaluations，大型语言模型评估）指的是一套用于评估大型语言模型（LLM）及其驱动的应用程序（LLM Application）性能、质量、安全性和可靠性的流程、工具和指标体系。它不仅仅是评估模型本身，也包括评估基于这些模型构建的各种应用，例如聊天机器人、问答系统、内容生成工具等。评估的目标是系统性地、可量化地衡量 LLM 或其应用在特定任务上的表现，确保其输出满足预期、准确无误、安全可靠，并且能够发现和修复潜在的问题。
【亲测免费】 探索 llmeval：一款强大的自然语言处理评估工具
gitblog_00007的博客
04-02 698
探索 llmeval：一款强大的自然语言处理评估工具 项目简介 是一个基于 Python 的开源项目，主要致力于提供一种高效、灵活的方式来评估自然语言处理（NLP）模型的表现。该项目不仅包含了大量的预定义评估指标，还允许用户自定义新的评估方法，使得研究者和开发者可以更深入地理解其 NLP 模型的性能。 技术分析 核心特性 丰富的内置指标 - llmeval 内置了诸如 BLEU, ROUGE,...
Continuous-Eval: 数据驱动的LLM应用评估框架
2401_87458778的博客
10-15 1227
Continuous-Eval为LLM应用开发者提供了一个强大而灵活的评估框架。通过模块化评估、全面的指标库、用户反馈整合和合成数据生成,它使得LLM应用的评估和优化变得更加简单和高效。无论你是在开发RAG系统、智能体还是其他类型的LLM应用,Continuous-Eval都能为你提供宝贵的洞察和改进方向。文章链接：www.dongaigc.com/a/continuous-eval-data-driven-llm-evaluation。
Paper翻译：《Identification of Apple Tree Leaf Diseases Based on Deep Learning Models》
JasonYangQ的博客
08-12 1588
论文名称：《Identification of Apple Tree Leaf Diseases Based on Deep Learning Models》 论文作者：Bi C , J Wang, Duan Y , et al. 发表期刊：Symmetry, 2020, 12(7):1065. 论文总结： Research Gap: DenseNet和Xception的融合模型对苹果叶部病害进行检测 Importance： 对6类苹果叶片的ACC为98.82% 翻译进度：50% 论..
Data Migration Tips: How to Efficiently Store Data in MySQL Using Python
# Data Migration Tips: Efficient MySQL Data Storage in Python In the data-driven world, MySQL, as one of the most popular open-source relational database management systems, provides robust support ...
论文翻译：OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics
机器学习实战
01-25 2384
图1：OK-Robot是一种开放知识机器人系统，集成了多种在公开可用数据上训练的学习模型，用于在现实环境中拾取和放置物体。利用诸如CLIP、Lang-SAM、AnyGrasp和OWL-ViT等开放知识模型，OK-Robot在10个未见过的、混乱的家庭环境中实现了58.5%的成功率，在更干净、整理过的环境中达到了82.4%。摘要—近年来，在视觉、语言和机器人领域取得了显著的进展。我们现在拥有能够根据语言查询识别物体的视觉模型，能够有效控制移动系统的导航系统，以及能够处理各种物体的抓取模型。
万字解读LLM大模型评估
所寫即所思｜一个阿里质量人对测试的所感所悟。
06-19 2148
我在之前的一篇文章中对摘要度量进行了深入的讨论，因此我强烈建议大家阅读一下。与原文内容完全一致。包含了原文中的重要信息。使用QAG，我们可以计算出事实对齐度和包含度评分，从而计算出最终的摘要评分。在DeepEval中，我们将两个中间评分中的最小值作为最终的摘要评分。""""""坦白地说，我对“摘要度量”这一概念的阐述还不够充分，因为我不想让这篇文章变得更长。但是对于那些对此感兴趣的人，我强烈建议阅读这篇文章，以了解更多关于使用QAG构建自己的摘要度量方法的信息。
LLM 评估指标：LLM评估终极指南
m0_59164304的博客
09-11 6303
在当今快速发展的自然语言处理领域，大型语言模型（LLM）正发挥着越来越重要的作用。从自动翻译到文本生成，这些模型在许多应用场景中表现出了惊人的能力。然而，要确保这些模型能够在实际应用中表现稳定且高效，必须对其进行严谨的评估。这篇文章将详细探讨LLM评估指标的定义、方法和最佳实践，并提供相应的代码示例，帮助您构建强大的LLM评估流程。
#LLM入门|Prompt#2.10_评估、自动化测试效果（下）——当不存在一个简单的正确答案时 Evaluation Part2
weixin_45312236的博客
03-09 1432
上一章我们探索了如何评估 LLM 模型在的情况下的性能，并且我们学会了编写一个函数来验证 LLM 是否正确地进行了分类列出产品。在使用LLM生成文本的场景下，评估其回答准确率可以是一个挑战。由于LLM是基于大规模的训练数据进行训练的，因此无法像传统的分类问题那样使用准确率来评估其性能。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1559
参考 [小学生也能听得懂的大模型 Transformer 1]
【LLM】手搓一个LLM Eval
weixin_42914989的博客
10-02 1193
根据数据集任务类型，确定合适的评测指标。根据数据形式，编写模型引导prompt。根据模型初步预测结果，设计合理的抽取方式。对预测结果与标准答案进行评分。上述步骤覆盖了TinyEval仓库的所有模块。该项目支持自定义数据集的评测。如果你有自定义的SFT数据，命名为custom_zh（中文）或custom_en"instruction": "假设你是皇帝身边的女人--甄嬛","input": "你是谁?","output": "臣妾是甄嬛，家父是大理寺少卿。这样就可以支持自定义数据集的评测了。
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
python123456_的博客
06-09 1134
一、背景在过去的一年多里，国内在大模型领域的发展异常迅速，涌现出上百个大模型，许多模型已经迭代了多个版本，并且各种指标不断刷新。与此同时，我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么，国内的大模型真的已经达到对标 OpenAI 的水平了吗？实际上，由于大模型的评估指标种类繁多，各种文章中所对比的模型也不尽相同，甚至有时会出现一些误导信息。因此，我们决定系统性梳理一下公认性能较强的大模型的相关指标，以全面了解各种模型的能力。
探索高效机器学习模型评估：LLM-eval-survey
gitblog_00018的博客
04-09 498
探索高效机器学习模型评估：LLM-eval-survey 项目简介 LLM-eval-survey 是一个由吉林大学机器学习小组（MLGroupJLU）开发的开源项目，专注于机器学习和自然语言处理领域的模型评估标准与方法的研究与实践。它为研究者和开发者提供了一套全面、多样化的评估工具，帮助他们更好地理解、比较和改进他们的语言模型。 技术分析 该项目的核心在于对现有评估指标的集成和标准化，包括但不限...
大模型系列：LLM-Eval大模型评测理论简述
2401_84206094的博客
10-22 1405
随着越来越多的大语言模型被发布和使用，如何对大模型的能力进行评测（LLM Evaluation）成为一个新的课题，本篇对大模型评测的基础知识做简要综述介绍。为什么需要做大模型评测需要评测大模型的哪些能力如何评测大模型。
【AI大模型应用开发实战】大型语言模型评估指南白皮书（LLM Eval）
AI天才研究院
04-24 711
近年来，大型语言模型（LLM）在自然语言处理领域取得了重大进展，例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练，在文本相关任务中表现出卓越的能力，甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理（NLP）是人工智能的一个领域，涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM)，它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法，使机器能够执行机器翻译、情感分析和对话系统等任务。
大模型battle？LLM排行榜出炉，清华竟位列第五！
优快云资讯
05-11 5400
【优快云 编者按】自GPT爆火之后，当下流行的开源大型语言模型越来越多，LMSYS 组织（UC伯克利博士Lianmin Zheng牵头举办）建立了 Chatbot Arena 基准平台通过匿名随机竞争来评估他们，随后发布 Elo 等级排行榜，排行榜至现在仍在定期更新，期待更多的用户贡献模型，进行投票，开发者们也可以参与进来！作者 |LMSYS 组织译者｜陈静琳 责编 |屠敏出品 | 优快云（...
论文结构类型分析：Preliminary与Related Study对比
本文聚焦于两种常见的论文结构类型：“Preliminary”型和“Related Study”型，深入剖析其定义、特点、适用场景、优缺点以及实际应用中的选择策略，并结合软件开发背景下的源码实现可能性进行拓展探讨。 首先，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值