LLM 评估汇总:真的吊打 LLaMA-3,媲美 GPT-4 吗?

告别选择题:Open-LLM-Leaderboard 用开放式问题评估大模型 Open-LLM-Leaderboard 为LLM评估提供了一个新的视角,它利用开放式问题来评估模型的真实能力,并能有效地消除选择偏差和随机猜测问题。该框架的出现,为LLM评估提供了更准确、更全面的指标,也为未来LLM研究提供了新的方向。 阅读详情

一、背景

在过去的一年多里,国内在大模型领域的发展异常迅速,涌现出上百个大模型,许多模型已经迭代了多个版本,并且各种指标不断刷新。与此同时,我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么,国内的大模型真的已经达到对标 OpenAI 的水平了吗?

实际上,由于大模型的评估指标种类繁多,各种文章中所对比的模型也不尽相同,甚至有时会出现一些误导信息。因此,我们决定系统性梳理一下公认性能较强的大模型的相关指标,以全面了解各种模型的能力。

如下图展示了我们梳理的一部分常见文本类基准评估指标(图中的不同底色表示数据来源,比如淡绿色表示数据来自 LLaMA 3 官方,淡蓝色表示数据来自 Claude 3 Paper,灰色表示来自 OpenAI 官方,淡紫色表示来自 Mixtral 官方等)。需要说明的是,这仅仅是部分常见指标,也并未涉及多模态基准评估。此外,由于数据比较多,且来源繁杂,难免会有遗漏或错误的地方,欢迎指出和纠正。本文中,我们也会简单介绍在收集这些数据时发现的一些问题,遇到的困惑,以及具体数据的来源,以便大家也能更准确的分辨各种大模型的能力。

二、引言

2.1 评估指标

常见的文本任务评估指标包括如下几个:

  • MMLU:通用知识和推理能力。

  • MATH:数学解决问题能力。

  • GSM8K:小学数学。

  • HumanEval:Python 编码任务。

  • GPQA:大学生物、物理和化学问答。

  • DROP:阅读理解和算术。

  • Big-Bench-Hard:综合评估。

  • ARC-Challenge:常识推理。

  • HellaSwag:常识推理。

  • AGIEval:大学入学考试和资格考试。

  • MT-Bench:多轮对话基准测试。

  • AlpacaEval 2.0:指令跟随能力。

2.2 评估框架

Harness 是 EleutherAI 开源的 LLM 评估框架,对应的代码库为:GitHub - EleutherAI/lm-evaluation-harness: A framework for few-shot evaluation of language models.。也是 Huggingface 官方 Open-LLM-Leaderboard (a Hugging Face Space by open-llm-leaderboard)后端使用的评估框架,在很多论文中被使用。

Helm 是斯坦福大学开发的 LLM 评估框架,对应的论文为:[2211.09110] Holistic Evaluation of Language Models,对应的代码库为:https://github.com/stanford-crfm/helm。其可以评估模型在 12 个方面的能力。

simple-evals 是 OpenAI 最近开源的针对几个常见指标的评估工具 (GitHub - openai/simple-evals),也是其 GPT-4o 使用的评估工具。如下图所示为其对应的评估结果:

OpenCompass 是一个国内常用的评估框架,对应的代码库为:OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.。其也提供详细的 Leaderboard:OpenCompass司南。如下图所示:

2.3 Few-shot & CoT

在评估中经常会使用 few-shot 和 CoT 方法,如下图所示(图片来自 [2205.11916] Large Language Models are Zero-Shot Reasoners)为 0-shot,few-shot 以及是否包含 CoT 的区别,简单来说:

  • few-shot 就是表示 Prompt 中会提供一些示例,没有示例表示为 0-shot,5 个示例为 5-shot。

  • CoT 就是在 Prompt 中会提供 CoT(Chain of Thought,[2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models),也就是推理过程。其中最经典的 CoT 为 “Let’s think step by step.”。

在基准评估中,为了公平对比,使用相同的配置才有参考价值。然而部分评估中并未清晰的列出对应的配置,如下图所示分别为 Introducing Qwen1.5 | Qwen 官网上关于 Qwen1.5 和 零一万物 上关于 Yi-1.5 模型的各种指标,很多都没有明确指出对应的配置,导致部分指标无法对齐:

2.4 Base 模型 & Instruction 模型

现在有很多开源的 LLM 都会提供 Base 模型和 Instruction 模型,其中:

  • Base 模型:是在大量未标注的通用文本数据上进行无监督训练,比如网页、书籍、代码、新闻文章等。Base 模型适用于需要广泛自然语言理解和生成的场景,但对具体的任务可能不如专用模型。

  • Instruction 模型:通常是在 Base 模型基础上,使用经过人工标注或筛选的指令数据通过有监督微调训练而来。这些数据的质量通常很高,而且有些时候会针对特定场景。这类模型更适合需要特定指令进行操作的场景。

虽然 Instruction 模型也是基于 Base 模型微调,但是他们的评估指标可能会有比较大的区别,如下图所示(meta-llama/Meta-Llama-3-70B · Hugging Face),对于 MMLU 指标:

  • LLaMA 2 模型的 Base 模型都比 Instruction 模型高,甚至差了 10 分以上。

  • LLaMA 3 模型的 Base 模型都比 Instruction 模型低。

我们在收集数据的时候发现很多地方会混淆两个模型的指标,比如经常看的 LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys 中就混淆了 Qwen1.5-110B 以及 Qwen1.5-72B 的 Base 模型和 Instruction 模型。参考 Qwen-1.5 的官方博客 Qwen1.5-110B:Qwen1.5系列的首个千亿参数开源模型| Qwen,下图中的 MT-bench 指标确实是 Qwen1.5-110B-Chat(Instruction)和 Qwen1.5-72B-Chat(Instruction)模型,但 MMLU 对应的是 Qwen1.5-110B(Base)和 Qwen1.5-72B(Base)模型:

2.5 不同模型版本

早期的 LLM 通常都会发布详细的技术报告,包括具体版本和性能指标的说明。然而,最近的很多 LLM 仅以简单的博客页面形式发布,甚至缺乏对模型及其评估指标的详细介绍,特别是一些闭源模型。这种变化为不同模型之间的横向对比带来了很大的挑战。如下图所示为 LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys 榜单,可以看出,排名前 12 的模型中,GPT-4 就有 4 个版本,Gemini-1.5 也有三个版本:

2.6 评估工具差异

很多公司都有自己的评估工具,其有些时候不会和开源社区的评估方式完全对齐,导致评估指标的差异。比如在 DeepSeek-V2([2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model)中,作者使用了内部评估工具,导致有些结果和我们从 Qwen1.5 72B、Mixtral 8x22B 和 LLaMA3 70B 官方报告中看到的结果不太一致,图中红色部分为相应的官方数据:

在浪潮的源 2.0-M32 [2405.17976] Yuan 2.0-M32: Mixture of Experts with Attention Router 中,作者也提供了 Qwen1.5-72B Chat 的结果,但是看着是直接引用了下图所示 DeepSeek-V2-Chat 的结果。但是源 2.0-M32 中并没有说明自己使用的评估工具。

2.7 数据污染

数据污染问题在大模型训练中非常常见,没有经过仔细的数据清理过程,很可能会在训练集中混入部分基准评估数据。比如,OpenAI 的 GPT-4 Paper 中提到,其发现训练集中不小心混入了 BIG-Bench 数据,所以 GPT-4 Paper 中并未提供 BIG-Bench Hard 的评估结果。

最近 Scale AI 的研究员研究了 GSM-8K 数据泄漏问题,对应的 Paper 为:[2405.00332] A Careful Examination of Large Language Model Performance on Grade School Arithmetic。作者通过人工标注方式构建了 GSM-1K 数据集,其难度与 GSM-8K 类似,包含 1250 道小学数学题。作者使用该数据集对一些开源和闭源 LLM 进行了基准测试,发现部分模型在 GSM-1K 上的性能甚至比 GSM-8K 低 10% 以上,比如 math-shepherd-mistral-7b-rl 指标低了将近 13%;而 Claude 3 和 GPT-4 模型指标没有下降:

如下图所示为部分详细数据,可以看出其包含了多个我们常见的模型,甚至是微软最近发布的非常强大的小模型 Phi-3:

三、MMLU

[2009.03300] Measuring Massive Multitask Language Understanding 评估集是为了衡量文本模型的多任务准确性,其涵盖涵盖人文科学(humanitities)、社会科学(social science)、自然科学(hard sciences)等领域的 57 个子任务,比如小学数学、美国历史、计算机科学、法律等。题目都是多项选择题,通过测试语言模型在不同领域的知识和推理能力来评估其综合性能。

与其他语言理解评估集(如 GLUE、SuperGLUE 等)相比,MMLU 的任务种类更多,覆盖面更广,能够更加全面地评估大规模语言模型的能力。这使得 MMLU 成为当前评估大规模预训练语言模型的一个重要工具。几乎每个 LLM 都会评估并对比其在 MMLU 基准上的能力,而且绝大部分都是评估 5-shot 能力,少量模型会评估 5-shot+CoT 能力,比如 The Claude 3 Model Family: Opus, Sonnet, Haiku。

MMLU 指标相对比较统一,基本不会有太多歧义。然而,在 Massive Multitask Language Understanding (MMLU) on HELM 中,作者发现很多模型声称的 MMLU 指标和 Helm 中评估出来的有较大差距,如下图所示:

四、GSM-8K

各种模型基本都会提供 GSM-8K 评估结果,但对应的评估结果比较混乱。比如,有些是 0-shot+CoT 结果,有些是 8-shot+CoT,有些是 5-shot+CoT,甚至有些是 11-shot。Google Gemini([2403.05530] Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context) 之前被吐槽的一个点就是拿 GSM-8K 11-shot 的结果和其他模型 8-shot,5-shot 的结果对比。

如下图所示为 GPT-4([2303.08774] GPT-4 Technical Report)中的关键结果,可以看出其 GSM-8K 的 92.0 为 5-shot+CoT 的结果,而 GPT-3.5 的 57.1 为 5-shot 的结果:

如下图所示为阿里的通义千问 Qwen1.5 介绍 | Qwen 中的官方评估结果,其并没有具体介绍 GSM8K 是 5-shot 还是 8-shot(不过从其开源的评估工具可以看出是 8-shot+CoT 的结果,具体可以参考 https://github.com/QwenLM/Qwen/blob/main/eval/gsm8k_prompt.txt),但是对应的结果中 GPT-4 的 92.0 为 5-shot+CoT 结果,Mixtral-8x7B 的 74.4 确实为 8-shot+CoT 结果。

实际上 Mixtral 官方提供了相应 5-shot 和 8-shot 的结果,如下图 Figure 4 所示(Cheaper, Better, Faster, Stronger | Mistral AI | Frontier AI in your hands)其 Mixtral 8x7B 的 5-shot 结果只有 58.4:

如下图 Table 3 所示,零一万物的 Yi 模型([2403.04652] Yi: Open Foundation Models by 01.AI)也存在同样的情况,论文中介绍的是 GSM-8K 的 8-shot 结果,但是 GPT-3.5 和 GPT-4 的是 5-shot 的结果。此外 Mistral 7B 的 GSM-8K 和 MATH 结果也比上图中 Mistral 的官方结果或者 [2310.06825] Mistral 7B 论文中的结果要低。

在浪潮的源 2.0-M32 [2405.17976] Yuan 2.0-M32: Mixture of Experts with Attention Router 中作者同样将 8-shot 的 GSM-8K 结果与 5-shot 的 Mixtral-8x7B,Mixtral-8x22B 进行比较,实际上两个模型对应的 8-shot 应该为 74.4 和 88.4:

五、MATH

MATH 的评估相对比较统一,基本上都是 4-shot 的结果,但是 GPT-4o,GPT-4T 相关结果都是 0-shot 的,具体也可以参考 OpenAI 的评估脚本 GitHub - openai/simple-evals,此外 Claude 3 同时提供了 0-shot 和 4-shot 结果,如下图所示:

六、GPQA

[2311.12022] GPQA: A Graduate-Level Google-Proof Q&A Benchmark 是一个比较新的评估集,是由生物、物理和化学领域的专家编写的多项选择题,问题的质量高且难度大。其全集 full(extended) 包含 546 个问题,main 和 diamond 是对应的两个子集,分别包含 448 和 198 个问题。如下图 Table 6 所示为作者针对 LLaMA-2-70B-Chat、GPT-3.5 和 GPT-4 的评估结果,可以看出,其也包含了 0-shot,0-shot+CoT,以及 few-shot+CoT 的配置:

在 Meta 的 LLaMA-3 meta-llama/Meta-Llama-3-70B · Hugging Face 中,作者并未特别说明使用的哪个集合,只介绍其为 GPQA(0-shot),不过在 llama3/eval_details.md at main 中提到是 Main 集合,并且没有说明使用 CoT,如下图所示:

在 The Claude 3 Model Family: Opus, Sonnet, Haiku 中,作者给出了 Claude 3 在 3 个集合上详细的评估结果:

在 Gemini Pro - Google DeepMind 中,Google Gemini 提供了 main 集合下的评估结果:

在阿里的通义千问 Qwen1.5-110B:Qwen1.5系列的首个千亿参数开源模型| Qwen 中同样没有介绍 GPQA 对应的集合,甚至未介绍是否是 0-shot:

七、HumanEval&BBH&HellaSwag&ARC-C&DROP

如下的几个指标相对比较统一,各个模型基本也都有相应的结果,如下图所示:

  • HumanEval 通常都是采用 0-shot 评估

  • BIG-Bench Hard(BBH)通常采用 3-shot+CoT 评估

  • HellaSwag 通常采用 10-shot 评估

  • ARC-C 通常采用 25-shot 评估

  • DROP 通常采用 3-shot 评估

八、AlpacaEval 2.0

AlpacaEval 2.0 是一个指令遵循评估,它利用 LLM 来评估生成质量。在 AlpacaEval 中,会倾向于生成较长输出的模型。因此,在 AlpacaEval 2.0 中,作者引入了长度控制(Length-Controlled AlpacaEval),来缓解这种偏好。对应的论文为:[2404.04475] Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators。对应的 Leaderboard 为:AlpacaEval Leaderboard。

九、LMSYS Chatbot Arena

国外社区经常会使用 Chatbot Arena(LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys)来评估 LLM 的能力。其相当于大模型的竞技场,都是通过真实用户打分结果来评估人类对模型的偏好,其更接近真实用户场景,也更加客观。对应的论文为:[2403.04132] Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference。这也是“零一万物 Yi-Large 在 LMSYS 中文榜单排名第一”的来源,如下图所示为按照 Arena Elo 排序的结果(截止 2024-06-01):

在 Chatbot Arena 中也提供了 MT-bench 和 MMLU 的相关指标,如下图所示为按照 MT-bench 排序的结果:

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

5分钟看看DeepSeek-R1做过的那些基准测试题(中) FRAMES 是由 Google 与 Harvard University 联合发布 的综合评估数据集,核心目标是评测大语言模型(LLMs)在 统一框架中跨文档检索、多步骤推理与生成任务 的协同能力。该基准通过模拟真实场景(如金融分析、学术研究等),要求模型整合 多源异构数据(文本、表格、代码片段等)完成复杂任务。 阅读详情

相关推荐

2026年网络安全LLM转折点:本地小模型如何重塑安全运营

大语言模型(LLM)作为人工智能的核心技术之一,通过海量数据预训练和微调,具备了强大的自然语言理解和生成能力。其原理在于Transformer架构的自注意力机制,能够捕捉文本中的长距离依赖关系。在工程实践中,LLM的价值在于将通用能力垂直应用于特定领域,实现效率的指数级提升。在网络安全这一高对抗性场景中,传统安全运营面临告警疲劳、技能短缺和响应延迟等挑战。通过领域微调技术,如使用LoRA对Llama、Mistral等开源小模型进行专业化训练,并注入CVE漏洞库、ATT&CK框架等高质量安全语料,可以构建精通

weixin_30740295的博客 347

AI 系统评估基准-研究生水平的专家推理(GPQA)

在人工智能领域,研究生水平的专家推理(GPQA)是一个重要的评估基准。GPQA全称是Graduate-Level Google-Proof Q&A Benchmark,由448个困难的多项选择题组成,这些问题无法通过Google搜索轻松回答,且由生物学、物理学和化学等各个领域的主题专家精心设计。通常来说,在相应领域拥有或正在攻读博士学位的专家在GPQA的准确率在70%上下。OpenAI推出的全新推理模型o1在GPQA测试中表现惊人,达到了78%的准确率。

百态·数智思维 | 聚焦大数据、量化与未来AI 6461

AI标题真伪快筛法:识破奥特曼、大蒜、红色警报等虚构叙事

大模型技术传播中,‘GPT-5.5’‘大蒜’‘红色警报’等热词常被用于制造虚假技术突破幻觉。这类标题利用认知偏差与信息断层,将跨次元符号(如奥特曼)、生活化代号(如大蒜)和危机修辞强行嫁接,掩盖真实技术演进逻辑。其本质违背版本迭代规律(OpenAI无GPT-5.5)、代号命名惯例(无技术隐喻)与商业协作现实(谷歌Gemini与GPT模型实为API互操作)。识别关键在于回归可验证事实:查官网发布日志、验arXiv论文支撑、核Hugging Face模型卡参数、溯财报竞争表述。掌握这套基于证据链的AI信息真伪快

weixin_30550081的博客 375

从0迈向1!OpenAI 重磅推出Open AI o1

OpenAi再次向我们秀了一把肌肉,展示了其强大的开发实力。昨天,OpenAI正式公开专为“解决难题”而研发的一系列新的大模型OpenAI o1。这些模型重要特点是在响应请求之前会进行更长时间的深思熟虑,它们能够通过复杂的任务进行推理,相对之前的大模型,它能在科学、编程和数学等领域解决更难的问题。OpenAI官方称:目前发布的仅是预览版,他们会按计划定期更新和改进,在本次发布内容中也包括了下一次更新的评估,并且更新内容正在开发中。

泉坡吴彦祖的博客 2344

AlpacaEval:自动评估指令跟随语言模型的利器

排行榜:提供常见模型在AlpacaEval评估集上的表现排名。自动评估器:使用强大的LLM(如GPT-4)来评判待评估模型的输出是否优于基准模型的输出。评估器构建工具包:提供简单的接口来构建高级自动评估器,支持缓存、批处理等功能。人工评估数据:包含20,000个人工标注的偏好数据,用于验证自动评估器的效果。AlpacaEval数据集:简化版的指令跟随任务数据集。

步子哥的博客 2280

自动驾驶必备:5分钟搞懂gPTP如何实现μs级时间同步(附开源代码)

本文深入解析了gPTP协议在自动驾驶系统中实现微秒级时间同步的核心机制与工程实践。针对多传感器融合与跨域协同的严苛需求,文章拆解了gPTP的频率同步、对等延迟测量与时间偏移校正三步流程,并提供了基于linuxptp和AVnu gPTP两大开源代码库的实战配置指南与性能评估方法,助力开发者构建高精度、高可靠的车载时间同步网络。

weixin_29211309的博客 170

【Reading Notes】(7.10)Favorite Articles from 2024 October

验证码被命名为 CAPTCHA,是“自动区分计算机和人类的图灵测试”(Completely Automated Public Turing test to tell Computers and Humans Apart)的缩写,以一种在线表格测试的形态存在,用来验证用户是真人而非机器人。报告显示,在2023年的车载激光雷达市场,中国厂商依然是领跑全球,禾赛科技、速腾聚创、图达通、华为以及览沃等中国激光雷达供应商,合力拿下了全球84%的市场份额。,帮助世界推动了模拟分子、天气预报的研究,下一代超算已经接任。

bryant_meng 5431

手把手教你用DLP4500投影仪玩转结构光3D扫描(附固件烧录与序列设置避坑指南)

本文详细解析了如何使用DLP4500投影仪搭建结构光3D扫描系统,涵盖硬件组装、固件烧录、图案生成与优化等全流程。重点解决了固件烧录失败、图像格式错误等常见问题,并提供了实用的避坑指南和进阶技巧,帮助读者快速掌握DLP4500在3D扫描中的应用。

weixin_42662293的博客 303

AI界“华山论剑“:12大热门LLM模型排行榜“出炉”

提供摘要长度的统计平均值,以便分析模型输出的紧凑性或详尽性。对于未能直接在Hugging Face平台上获得的模型,尤其是GPT系列的变体,HHEM团队亲自介入进行评估,并将结果上传至排行榜,确保了评估覆盖的全面性和公正性。这一举措不仅促进了模型间性能的透明比较,也为研究者和开发者提供了宝贵的参考依据,帮助他们更好地理解和优化模型在生成摘要时的准确性与可靠性。

xx_nm98的博客 4773

Halcon阈值算子 -- 局部阈值之dyn_threshold

Halcon阈值算子 – dyn_threshold HALCON有很多阈值算子,接下来将一一介绍。本文先介绍dyn_threshold。 以下介绍主要参考HALCON帮助文档,并加上自己的体会。如有纰漏,欢迎留言指出 理论介绍 dyn_threshold算子的函数签名如下: dyn_threshold(OrigImage, ThresholdImage : RegionDynThresh : Offset, LightDark : ) 输入参数有: OrigImage:待处理图像 ThresholdIm

m0_47015717的博客 5386

如何找回mysql删除的表_mysql误删表如何恢复,恢复被删除表的步骤说明

小编寄语想必大家都知道,Oracle ACE李真旭(Roger)是国内最专业的Oracle 数据库恢复专家。但知识都是触类旁通,真正的专家,从来不会局限在一个方向上。今天分享的内容,是他在MySQL数据恢复上所做的尝试。本文主要分享在没有备份的情况下,MySQL数据库如何恢复被删除的表。包含两个主要的场景:1、drop table后的恢复2、truncate table后的恢复正文:我们都知道,M...

weixin_35725389的博客 6785

大模型榜单汇总整理

大型语言模型(LLM)评估榜单提供了对不同模型性能的标准化比较,涵盖了从通用能力到特定领域应用的多个方面。这些榜单专注于评估模型在特定领域的应用能力,有助于开发者了解模型的优势和局限性,推动语言模型的发展和优化。

sexy19910923的博客 9130

仓储控制系统(WCS)设计

WCS系统设计方法

cetclyb的博客 2万+

最全面的LLM评测平台大全:评测平台详解

在人工智能快速发展的今天,大语言模型(LLM)的性能评估变得越来越重要。本文为您整理了目前最具影响力的LLM评测平台,帮助您全面了解不同模型的优势和特点。无论您是AI研究者、开发者还是产品经理,这份指南都能为您提供有价值的参考,助您做出更明智的选择。

我是Xtaiyang,我的学习不止于自己掌握,更在于与你一起前行。所以我把笔记公开,把心得共享,只为构建一个自由学习的空间 。这里没有“我的”,只有“我们的”。 3596

《QGIS快速入门与应用基础》【专栏完整目录】

《QGIS快速入门与应用基础》第一卷专栏完整目录,覆盖 001–328 全部篇目与附录,逐篇可跳转。

LuckyHanMo的博客 1305

FreeRTOS深入教程(任务创建的深入和任务调度机制分析)

本篇文章将带大家深入学习任务的创建和分析任务调度的机制。本篇文章深入的讲解了任务创建的内部实现和任务调度的源代码分析和实现,学习这篇文章有助于更深入的学习FreeRTOS的源码。

m0_49476241的博客 6396

【亲测免费】 探索高效语言模型评估工具:Simple-Evals

在人工智能领域,语言模型的准确性和性能评估是至关重要的。Simple-Evals是一个轻量级库,专注于对语言模型进行零样本、链式思考模式的评估。该项目由开放源代码推出,旨在透明化并统一GPT-4系列模型的准确性数据。 ## 项目介绍 Simple-Evals的核心在于其强调的零样本、链式思考评估方式,这与传统依赖于少量示例或角色扮演提示的评估方法不同。它通过简洁的指令如“解决以下多选题”来测试...

gitblog_00042的博客 783

手机开发实战58——小区广播介绍2

业务 针对小区广播短消息的特点,可以提供一些基于目前短消息不能或不适合提供的服务: 1. 显示网络服务基站名称:用户可以随时了解手机登记在哪个基站下,特别是在边界交叉覆盖区域,用户可以清楚的知道通话建立在哪个基站下,在用户投诉和故障描述中也会有所帮助; 2. 提供用户问候信息:可以在覆盖机场、车站等地区的基站广播一些用户问候语或一些企业形象广告语; 3. 充分利用小区广播地

xjbclz的专栏 773

大模型榜单汇总整理 Open LLM Leaderboard OpenCompass、SuperCLUE

原创 YoloFunnyAi2024年09月23日 23:21广东大型语言模型(LLM)评估榜单提供了对不同模型性能的标准化比较,涵盖了从通用能力到特定领域应用的多个方面。本文主要从通用大模型,垂直领域的医学、法律和金融领域的评估榜单。这些榜单根据最新的模型进行评估,有助于开发者了解模型的优势和局限性,推动语言模型的发展和优化。

具身机器人和通用AI 3359

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

【多模态LLM】多模态理解评测标准(图生文)

# note - 评测图片识别、理解、分析、推理能力;评测多轮对话;扩大评测场景(日常生活、教育娱乐等) - SuperClue-V采用6个标准,即正确性、相关性、流畅性、知识延伸、输出样式多样化、多感官信息融合,来定量的评价模型在所构建的指标下的表现能力,其中正确性、相关性、流畅性这三个指标设置为基础等级,旨在区分头部模型与一般模型的能力,而知识延伸、输出样式多样化、多感官信息融合这三个指标设置为扩展等级,旨在进一步区分头部模型之间的能力 @[toc] # 一、图生文LLM评测标准 文章地址:ww

发现问题,并解决问题,批判性思维 3376

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

LLM模型中英文评测基准

为推动LLM在医疗领域的发展和落地,华东师范大学王晓玲教授团队联合阿里巴巴天池平台,复旦大学附属华山医院,东北大学,哈尔滨工业大学(深圳),鹏城实验室与同济大学推出PromptCBLUE评测基准, 对CBLUE基准进行二次开发,将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。MMLU 是包含 57 个多选任务的英文评测数据集,涵盖了初等数学、美国历史、计算机科学、法律等,难度覆盖高中水平到专家水平,是目前主流的LLM评测数据集。

dzysunshine的博客 3579

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: LLM之Agent初探
下一篇: LLM定制的四个层次
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值