更难、更好、更快、更强:LLM Leaderboard v2 现已发布

评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点,当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务:论文或营销发布中的得分缺乏可复现的代码,有时令人怀疑,大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此,他们决定创建一个地方,在完全相同的设置 (同样的问题,按相同的顺序提问等) 下评估参考模型,从而收集完全可复现和可比较的结果;Open LLM Leaderboard 就这样的背景下发布啦!

在一系列高调的模型发布后,它成为了机器学习社区及更广泛领域内的广泛资源,过去 10 个月中有超过 200 万的独立访问者。

每月约有 30 万社区成员通过提交和讨论使用这个平台,通常是为了:

  • 寻找最先进的开源发布,因为排行榜提供了可复现的得分,区分了营销炒作与实际进展。

  • 评估他们的工作,无论是预训练还是微调,公开比较方法并与最佳现有模型进行比较,并获得公众认可。

然而,随着排行榜的成功以及模型性能的不断提升,也带来了挑战。经过一年多的激烈使用和大量社区反馈后,我们认为是时候进行升级了!因此,我们推出了 Open LLM Leaderboard v2!

https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard

(还是之前的链接)

以下是我们认为需要新排行榜的原因👇

为什么需要更具挑战性的排行榜

在过去的一年里,我们使用的基准测试已经被过度使用和饱和:

587a498ad77ac7aef08021d453efc74a.png
  1. 它们对模型来说变得太容易。例如,模型现在在 HellaSwag、MMLU 和 ARC 上达到了人类基准性能,这种现象被称为饱和。

  2. 一些较新的模型也表现出污染的迹象。这意味着这些模型可能在基准数据或与基准数据非常相似的数据上进行训练。因此,一些得分不再反映模型的一般性能,而是开始在某些评估数据集上过拟合,而不是反映所测试任务的一般性能。特别是 GSM8K 和 TruthfulQA,已包含在一些指令微调集中。

  3. 一些基准测试包含错误。例如,最近多个研究团队对 MMLU 进行了深入调查 (见MMLU-Redux和MMLU-Pro) ,发现了其响应中的错误并提出了新版本。另一个例子是 GSM8K 使用了特定的生成结束标记 (:) ,这不公平地降低了许多冗长模型的表现。

因此,我们决定完全更换 Open LLM Leaderboard v2 的评估!

  • MMLU-Reduxhttps://arxiv.org/abs/2406.04127

  • MMLU-Prohttps://arxiv.org/abs/2406.01574

重新选择我们的评估标准

我们开始寻找具有未污染、高质量数据集,使用可靠指标并测量模型关键能力的新基准测试。

我们决定涵盖以下一般任务:知识测试 (📚) 、短期和长期上下文推理 (💭) 、复杂数学能力以及与人类偏好高度相关的任务 (🤝) ,如指令遵循。

我们使用六个基准测试来涵盖这些任务。让我们简要介绍它们:

📚 MMLU-Pro (大规模多任务语言理解 - 专业版,论文) 。MMLU-Pro 是 MMLU 数据集的改进版本。MMLU 一直是多选知识数据集的参考。然而,最近的研究表明它既包含噪音 (一些问题无法回答) ,又太容易 (通过模型能力的进化和污染的增加) 。MMLU-Pro 向模型提供十个选择而不是四个,要求在更多问题上进行推理,并经过专家审查以减少噪音量。它比原版质量更高且更难。

  • 论文https://arxiv.org/abs/2406.01574

📚 GPQA (研究生级别的谷歌问答基准,论文) 。GPQA 是一个极其困难的知识数据集,其中问题由领域专家 (生物学、物理学、化学等领域的博士水平) 设计,使得外行人难以回答但专家相对容易。问题经过多轮验证,以确保难度和准确性。数据集也只能通过网关机制访问,这减少了污染风险。(这也是为什么我们不提供来自此数据集的纯文本示例的原因,正如论文作者要求的那样) 。

  • 论文https://arxiv.org/abs/2311.12022

💭 MuSR (多步软推理,论文) 。MuSR 是一个非常有趣的新数据集,由算法生成的复杂问题组成,长度约为 1000 字。问题包括谋杀之谜、物体放置问题或团队分配优化。为了解决这些问题,模型必须结合推理和非常长的上下文解析。很少有模型得分高于随机水平。

  • 论文https://arxiv.org/abs/2310.16049

🧮 MATH (数学启发式测试,5 级子集,论文) 。MATH 是一个由多个来源收集的高中级别竞赛问题的汇编,使用 Latex 一致地格式化方程和 Asymptote 格式化图形。生成的答案必须严格遵循特定的输出格式。我们只保留最难的问题。

  • 论文https://arxiv.org/abs/2103.03874

🤝 IFEval (指令遵循评估,论文) 。IFEval 是一个相当有趣的数据集,测试模型清晰遵循明确指令的能力,例如“包括关键词 x”或“使用格式 y”。模型被测试是否能够严格遵循格式指令,而不是实际生成的内容,从而可以使用严格的指标。

  • 论文https://arxiv.org/abs/2311.07911

🧮 🤝 BBH (大基准测试难题,论文) 。BBH 是 BigBench 数据集中 23 个具有挑战性的任务的子集,其中 1) 使用客观指标,2) 难度高,测量为语言模型未能超越人类基线,3) 包含足够多的样本以具有统计显著性。它们包含多步算术和算法推理 (理解布尔表达式、几何图形的 SVG 等) 、语言理解 (讽刺检测、名称消歧等) 和一些世界知识。BBH 的表现平均与人类偏好高度相关。我们期望这个数据集能够提供对特定能力的有趣见解,吸引人们的兴趣。

  • 论文https://arxiv.org/abs/2210.09261

a3b1060a7d73c2b3375f943b018a6017.png
https://open-llm-leaderboard-sample-viewer.hf.space/

为什么我们选择这些子集?

总的来说,我们的选择标准是:

  1. 评估质量:

  • 数据集的人工审查:MMLU-Pro 和 GPQA

  • 学术界和开源社区的广泛使用:BBH、IFEval、MATH

  1. 指标的可靠性和公平性:

  • 多选评估在模型之间通常是公平的。

  • 生成性评估应严格限制格式 (如 MATH) ,或使用非常明确的指标 (如 IFEval) 或后处理 (如 BBH) 来提取正确答案。

  1. 模型污染的一般缺失:

  • 网关机制:GPQA

  • “年轻”:MuSR、MMLU-Pro

  1. 测量社区感兴趣的模型技能:

  • 与人类偏好相关:BBH、IFEval

  • 评估我们感兴趣的特定能力:MATH、MuSR

选择新的基准测试并不是全部。我们还对排行榜进行了几项其他改进,将在下文进行简要介绍。

报告更公平的排名平均值:使用标准化分数

我们决定改变模型的最终得分。我们没有将每个基准输出得分相加,而是将这些得分标准化在随机基线 (0 分) 和最大可能得分 (100 分) 之间。然后我们平均所有标准化分数以获得最终平均得分并计算最终排名。例如,在一个每个问题包含两个选择的基准测试中,随机基线将获得 50 分 (满分 100 分) 。如果使用随机数生成器,您可能会在此评估中获得约 50 分。这意味着得分始终在 50 (如果基准不是对抗性的最低合理得分) 和 100 之间。因此,我们更改范围,使得 50 的原始分数为 0 的标准化分数。这对生成性评估如 IFEval 或 MATH 没有影响。

ccce989f007ef948f08d8c6c34dea2da.png

这个变化比看起来更重要,因为它可以看作是改变了每个基准在最终平均分中的权重。

在上图中,我们绘制了评估的平均得分,左侧为标准化得分,右侧为原始得分。如果看右侧,您会得出 MATH 5 级和 MMLU-Pro 是最难的基准 (原始平均值最低) 。然而,我们的两个最难评估实际上是 MATH 5 级和 GPQA,它们难得多 (博士水平的问题!) ——今天的大多数模型在它上面接近随机性能,因此在未标准化得分和标准化得分之间存在巨大差异,随机数基线得分为零分!

因此,这个变化也影响了整体模型排名。假设我们有两个非常难的评估,一个生成性和一个多选题,有两个选项样本。模型 A 在生成性评估中得 0 分,在多选题中得 52 分,模型 B 在生成性评估中得 10 分,在多选题中得 40 分。看原始平均值,您可能会得出模型 A 更好的结论,平均得分为 26,而模型 B 的平均得分为 25。然而,对于多选题基准,他们实际上都同样差 (!) :52 几乎是多选题评估中的随机分数,40 是不幸的随机分数。当取标准化得分时,A 得 0 分,而 B 得约 1 分。然而,在生成性评估中,模型 B 比 A 高出 10 分!如果我们取标准化平均值,B 的得分为 5,而 A 几乎为 0,因此排名非常不同。

更容易的可复现性:更新评估套件

一年前,我们选择使用 EleutherAI 的 Harness (lm-eval) 来进行我们的评估。它为多个任务提供了标准和稳定的实现。为了确保公平和可复现性,我们固定了所使用的版本。这使我们能够在完全相同的设置下比较所有模型,因为所有评估都是以完全相同的方式运行的,在相同的硬件上,使用相同的评估套件提交和参数。

然而随着lm-eval 的更新,某些任务或指标的实现发生了变化,这导致 1) 人们在更近期版本的 harness 上获得的评估结果和 2) 我们使用固定版本的结果之间出现了差异。

对于新版的 Open LLM Leaderboard,我们与 EleutherAI 团队 (尤其感谢Hailey Schoelkopf) 合作更新了 harness。

在功能方面,我们添加了对 delta 权重 (LoRA 微调/模型适配) 的支持、与排行榜兼容的日志系统以及高度请求的使用聊天模板进行评估。

在任务方面,我们花了几周时间手动检查所有实现和生成结果,修复了我们观察到的问题,如不一致的少样本样本、过于严格的句子结束标记等。我们为

排行榜任务实现创建了特定的配置文件,并正在添加一个测试套件,以确保评估结果随时间保持不变。

你可以在这里探索我们使用的可视化工具!

4f6508ab71d411939d03d9e48968c125.png
https://open-llm-leaderboard-generationvisualizer.hf.space/

这将使我们能够保持版本的更新,以便将来添加新功能!

关于排行榜后端和指标已经说了很多。现在,让我们转向模型和模型选择/提交。

维护者推荐介绍

在过去的一年里,我们评估了超过 7500 个模型,观察到许多模型并没有被社区广泛使用。

最常用的通常是新的基础预训练模型,通常使用大量计算资源构建,社区可以随后进行微调以适应其用例 (如 Meta 的 Llama3 或阿里巴巴的 Qwen2) 。一些高质量的聊天或指令模型找到了一个庞大的用户社区,如 Cohere 的 Command + R,并成为社区实验的强大起点。♥️

然而,其他模型的故事可能不同,即使在排行榜上排名靠前。一些模型是实验性的,令人着迷且令人印象深刻的超过 20 个连续模型创建步骤的结合,通过微调或合并。

然而,这些模型提出了一些挑战:

  • 当堆叠如此多的步骤时,很容易丢失精确的模型配方和历史记录,因为一些父模型可能被删除,先前步骤的微调信息可能消失等。

  • 然后模型可能会意外污染 😓
    去年发生了几次,从包含 TruthfulQA 或 GSM8K 信息的指令数据集微调的父模型派生的模型。

  • 模型可能会在基准测试上表现良好,但与其实际表现无关 🙃
    这可能发生在选择在相同基准上表现优异的模型进行合并时——这似乎选择性地提高了在这些基准上的表现,而与实际生活情况中的质量无关。(可能需要更多的研究) 。

为了在排行榜中突出高质量模型并优先评估最有用的模型,我们决定引入一个类别,称为“维护者推荐”⭐。

在这个列表中,您会发现来自各种来源的 LLM,由社区和 Hugging Face 团队手工挑选。我们包括像 Meta 或 Google 这样的公司,像 Cohere 或 Mistral 这样的初创公司,像 EleutherAI 或 NousResearch 这样的集体,以及许多其他用户发布的优秀模型。

该列表将根据社区建议和我们的观察不断发展,旨在尽可能包括最新的 SOTA LLM,并优先评估这些模型。

我们希望这也能使非机器学习用户更容易在排行榜上的众多模型中找到方向。

投票模型相关性

对于 Open LLM Leaderboard 的前一版本,评估通常以排队 (“先提交,先评估”) 的方式进行。随着用户有时一次提交许多 LLM 变体,Open LLM Leaderboard 在 Hugging Face 科学集群的空闲计算资源上运行,我们决定为提交的模型引入投票系统。社区将能够为模型投票,我们将优先运行票数最多的模型,将最受期待的模型排在优先队列的顶部。如果某个模型在集群满负荷时获得极高的票数,我们甚至可能考虑手动运行它而不是其他内部任务。

为避免垃圾投票,用户必须连接到他们的 Hugging Face 帐户才能投票,我们将保存投票记录。这个系统将帮助我们优先考虑社区热衷的模型。

最后,我们一直在努力改进和简化排行榜界面本身。

更好和更简单的界面

如果您是我们的常规用户之一,您可能已经注意到我们前端从上个月开始变得更快了。

这得益于 Gradio 团队的工作,尤其是Freddy Boulton,他开发了Leaderboard gradio 组件!它特别在客户端加载数据,使任何列选择或搜索几乎即时!你也可以在你自己的排行榜中重用它!

  • Freddy Boultonhttps://hf.co/freddyaboulton

  • Leaderboard gradio 组件https://hf.co/spaces/freddyaboulton/gradio_leaderboard

我们还决定将 FAQ 和关于标签移到它们自己的专用文档页面!

新排行榜,新结果!

我们将开始添加和评估“维护者推荐”部分的模型 (见上文) ,并期待社区向新版排行榜提交他们的新模型!!

排名结果如何?

看看 Open LLM Leaderboard 之前版本的前 10 名模型,并与这个更新版本进行比较,一些模型的排名相对稳定 (如下加粗) :Qwen-2-72B instruct,Meta 的 Llama3-70B instruct,01-ai 的 Yi-1.5-34B chat,Cohere 的 Command R + model,以及最后来自 AbacusAI 的 Smaug-72B。

我们对 Qwen2-72B-Instruct 特别印象深刻,它比其他模型高出一大步,平均得分为 43.02 (尤其得益于其在数学、长范围推理和知识方面的表现) 。

目前的第二名模型,Llama-3-70B-Instruct (平均得分 36.67) ,在 GPQA 上与其预训练版相比失去了 15 分 (4.92 vs 19.67) !这引发了一个问题,即 Meta 团队对这个模型进行的广泛指令微调是否影响了一些专家/研究生级别的知识。

当然,这个排名只是排行榜的开始,我们期望它在更多模型得到评估后会很快改变。你可以查看队列状态,看看哪些模型正在运行!

排名新排行榜排名
⭐Qwen/Qwen2-72B-Instruct
2meta-llama/Meta-Llama-3-70B-Instruct
3microsoft/Phi-3-medium-4k-instruct
401-ai/Yi-1.5-34B-Chat
5CohereForAI/c4ai-command-r-plus
6abacusai/Smaug-72B-v0.1
7Qwen/Qwen1.5-110B
8Qwen/Qwen1.5-110B-Chat
9microsoft/Phi-3-small-128k-instruct
1001-ai/Yi-1.5-9B-Chat

以下是排名变化的细节:

b805194a7cea90a2383134731166a6ea.png

让我们以一些来自维护者团队的建议结束这些思考。

你应该关注哪些评估?

根据你的实际使用情况,你应该关注排行榜的各个方面。总体排名会告诉你哪个模型平均更好,但你可能对特定能力更感兴趣。

特别是,我们观察到我们的不同评估结果并不总是相互关联,如以下相关矩阵所示:

302e366617f75929cc6a5ba1926443b2.png

如你所见,MMLU-Pro 和 BBH 相关性较高。正如其他团队所指出的,这些基准测试也与人类偏好高度相关 (例如,它们倾向于与 LMSys 的聊天机器人竞技场中的人类判断一致) 。

我们的另一个基准,IFEval,针对聊天能力。它调查模型是否能够遵循精确指令。然而,这个基准使用的格式倾向于有利于聊天和指令微调的模型,预训练模型难以达到高性能。

e9a4ed509c7ad339c8de79aab2f68284.png

如果你特别关注模型知识而不是对齐或聊天能力,最相关的评估可能是 MMLU-Pro 和 GPQA。

让我们看看这些更新的基准测试上的表现与我们之前版本排行榜的评估相比如何。

1f9b917e08693636b2bbeff03441d663.png

如我们所见,MMLU-PRO (橙色) 和 GPQA (黄色) 得分与 Open LLM Leaderboard v1 的 MMLU 得分合理相关。然而,我们注意到得分总体上低得多,因为 GPQA 难得多。因此,模型有很大的改进空间——这是个好消息 :)

MATH-Lvl5 显然对专注于数学能力的人很有趣。这个基准测试的结果通常与 GSM8K 的表现相关,除了某些异常值,如下图所示。

4e8eb7f450c50c7c563d808b81be4d92.png

绿色点突出了在 GSM8K 上由于上述评估限制而之前得分为 0 但现在在新基准 MATH-Level5 上得分非常不错的模型。这些模型 (主要来自 01-ai) 在之前的格式中被严重惩罚。红色点显示了在 GSM8K 上得分高但在 MATH-Lvl5 上几乎为 0 的模型。

从我们目前对模型输出和行为的深入研究来看,基础模型的聊天版本有时在 MATH 上得分明显低于原始模型!这个观察似乎表明一些聊天微调程序可能会削弱数学能力 (根据我们的观察,使模型过于冗长) 。

MuSR,我们的最后一个评估,对长上下文模型特别有趣。我们观察到表现最好的模型具有 10K 及以上的上下文大小,并且它似乎足以特异性地区分长上下文推理。

让我们以对 Open LLM Leaderboard 未来的展望结束这篇文章!

接下来是什么?

就像 Open LLM Leaderboard 的第一个版本在过去一年推动了

模型开发的社区方法一样,我们希望新的版本 2 将成为开放和可复现模型评估的里程碑。

因为向后兼容和开放知识很重要,你仍然可以在Open LLM Leaderboard Archive找到所有之前的结果存档!

  • Open LLM Leaderboard Archivehttps://hf.co/open-llm-leaderboard-old

回顾 Open LLM Leaderboard 中评估的所有 7400 个模型的演变,我们可以注意到该领域的一些更广泛的趋势!例如,我们看到一个强烈的趋势,从更大的 (红点) 模型转向更小的 (黄点) 模型,同时提高性能。

bd434f6a80efb97db0476f11d5661582.png

这是该领域的好消息,因为较小的模型更容易嵌入,更节能/内存/计算效率更高,我们希望在新版本的排行榜中看到类似的进展模式。鉴于我们更难的基准,我们的起点要低得多 (黑点) ,所以让我们看看几个月后该领域会带我们到哪里 :)

如果你读到了这里,非常感谢。我们希望你会喜欢新版的 Open LLM Leaderboard。愿开源之风推动我们的 LLM 之船在深度学习的大洋中远航。 ⛵

相关推荐

Transformer 中的专家混合模型 (MoE)

每个设备只加载分配给自己的那部分专家,负责对应的计算,并在最后参与结果的汇总。在专家混合 (MoE) 模型中,每个 token 会被路由到不同的专家。时,模型会从标准的张量并行 (Tensor Parallel, TP) 策略切换为专家并行 (Expert Parallel, EP) 策略,并采用专门的切分 (sharding) 方式。将全局专家索引映射为本地索引,屏蔽不属于当前设备的专家,确保每个设备只使用本地专家进行计算,并通过 all-reduce 在设备之间汇总部分计算结果。欢迎告诉我们你希望在。

Hugging Face 683

在 Hugging Face Hub 上引入 Storage Buckets

在未来的规划中,我们将支持 Buckets 与仓库之间的双向直接传输:例如将最终的 checkpoint 权重提升到模型仓库,或者在数据流水线完成后,把处理好的数据分片提交到数据集仓库。如果你来自 S3 风格的对象存储环境,Buckets 也提供了熟悉的使用模式,同时更适配 AI 产物,并能无缝过渡到 Hub 上的最终发布流程。对于一次性操作,可以使用。提供了原生的存放位置,比如 checkpoint、处理后的数据、Agent trace、日志,以及所有在最终定稿之前仍然有价值的中间产物。

Hugging Face 643

LeRobot v0.5.0 正式发布

成为目前规模最大的一次发布 —— 几乎在所有方向上都实现了扩展:支持更多机器人 (包括首个类人机器人) 、更多策略模型 (包括回归的自回归 VLA) 、更快的数据集处理、可以直接从 Hub 加载的仿真环境,以及基于。:我们将 SO-100 和 SO-101 的实现整合到一个更简洁的代码库中 (包括双臂配置) ,减少重复代码,更易维护,同时保持原有功能。从更严格的类型检查到更健壮的测试基础设施,我们正在持续加强 LeRobot 的基础架构,以支持未来更大规模的发展。这大大降低了分享自定义仿真环境的门槛。

Hugging Face 822

全球开源 AI 生态的未来:从 DeepSeek 到 AI+

资源约束并未限制中国 AI 的发展,相反,在某些方面,它们重塑了其发展轨迹。截至 2025 年中,Qwen 成为 Hugging Face 上衍生模型数量最多的基础模型,已有超过 11.3 万个模型以 Qwen 为基座构建,超过 20 万个模型仓库标注了 Qwen,远高于 Meta 的 Llama(2.7 万)或 DeepSeek(6 千)。通过在更开放的系统中打通模型、芯片与 PaddlePaddle,百度得以在算力、成本和监管等共同约束下,降低成本、吸引开发者并影响行业标准,同时保持自身的战略控制力。

Hugging Face 659

DeepSeek之后:中国开源人工智能生态的架构选择

与此同时,训练侧的信号也开始显现。相比之下,定制化和约束性更强的许可证因为不被熟知、理解成本高,增加了新的法律风险,在实际使用中显著增加了摩擦成本,从而降低了采用意愿,这也直接导致了图中所显示的整体下滑。在统一的能力框架下,根据任务的复杂度与价值,动态激活不同数量的专家,从而在不同请求与部署环境中分配计算资源。例如,在 DeepSeek-V3.2-Exp 发布时,华为昇腾与寒武纪芯片实现了“首日支持”,并非云端演示,而是与模型权重一同发布的可复现推理流水线,使开发者能够直接验证真实世界中的性能表现。

Hugging Face 1001

<span class=“js_title_inner“>DeepSeek之后:中国开源人工智能生态的架构选择</span>

与此同时,训练侧的信号也开始显现。相比之下,定制化和约束性更强的许可证因为不被熟知、理解成本高,增加了新的法律风险,在实际使用中显著增加了摩擦成本,从而降低了采用意愿,这也直接导致了图中所显示的整体下滑。在统一的能力框架下,根据任务的复杂度与价值,动态激活不同数量的专家,从而在不同请求与部署环境中分配计算资源。例如,在 DeepSeek-V3.2-Exp 发布时,华为昇腾与寒武纪芯片实现了“首日支持”,并非云端演示,而是与模型权重一同发布的可复现推理流水线,使开发者能够直接验证真实世界中的性能表现。

Hugging Face 935

推出 AnyLanguageModel:在 Apple 平台统一本地与远程大语言模型的 API

对于 Xcode 项目 (目前还不支持直接声明 trait) , 你可以创建一个内部的 Swift 包,指定所需 trait 依赖 AnyLanguageModel, 然后将这个包作为本地依赖添加到你的项目中。我们在这里做了有意识的取舍, 也许我们现在的设计将来会和 Apple 官方的实现产生冲突, 但这正是废弃警告 (deprecation warnings) 存在的意义。这个项目是一个起点: 你可以 fork 它、扩展它、替换不同的模型, 了解各个模块如何协作,并根据自己的需求进行定制。

Hugging Face 647

使用 Hugging Face 轻松构建并共享 ROCm 内核

自定义内核是高性能深度学习的基础,它让 GPU 操作能完全贴合你的工作负载需求——无论是图像处理、张量变换,还是其他计算密集型任务。然而,要为正确的架构编译这些内核、配置各种编译标志并干净地整合到 PyTorch 扩展中,往往会变成一团乱麻 (CMake/Nix、编译错误、ABI 问题等)。这保证了你的内核既高效、又可移植,还能无缝集成到 PyTorch 中。一旦构建完成,只需上传到 Hugging Face Hub,社区中的其他人就能直接使用你的自定义内核——几行代码即可完成集成,轻松共享高性能成果。

Hugging Face 1360

“DeepSeek 时刻” 一周年

DeepSeek 的 R1 模型降低了获取先进模型能力的门槛,并提供了一种清晰、可供效仿的发展范式,从而解锁了新的发展层级。来自美国机构的重要发布。表面上看似合作的行为,更准确地说,是在共同的技术、经济与监管压力下形成的对齐。这是中国的开源模型首次进入全球主流榜单,并且在随后的一年中,每当有新模型发布时,它都反复被用作重要的参考基准。与 2024 年相比,R1 发布之后,中国的人工智能格局逐步形成了一种新的态势:大型科技公司率先行动,初创公司迅速跟进,来自垂直行业的公司也越来越多地进入这一领域。

Hugging Face 874

Transformers v5 中的分词系统:更简洁、更清晰、更模块化

最糟糕的是,你无法创建一个空的分词器架构。如果你想用自己的数据训练一个 LLaMA 风格的分词器,没有简单的方法可以初始化一个“空白”的 LLaMA 分词器并填入自定义的词表和合并规则。最终得到的分词器将拥有你自定义的词表和合并规则,但在处理文本时的行为将与标准的 LLaMA 分词器完全一致:空格处理、特殊 token 规则、解码行为都相同。这些模型专属的分词器类会根据各自模型的需求,对后端进行配置,包括正确的词表、合并规则、特殊 token,以及标准化设置等,确保分词行为与模型训练时保持一致。

Hugging Face 809

<span class=“js_title_inner“>Transformers v5 中的分词系统:更简洁、更清晰、更模块化</span>

最糟糕的是,你无法创建一个空的分词器架构。如果你想用自己的数据训练一个 LLaMA 风格的分词器,没有简单的方法可以初始化一个“空白”的 LLaMA 分词器并填入自定义的词表和合并规则。最终得到的分词器将拥有你自定义的词表和合并规则,但在处理文本时的行为将与标准的 LLaMA 分词器完全一致:空格处理、特殊 token 规则、解码行为都相同。这些模型专属的分词器类会根据各自模型的需求,对后端进行配置,包括正确的词表、合并规则、特殊 token,以及标准化设置等,确保分词行为与模型训练时保持一致。

Hugging Face 915

构建开放的未来——我们与 Google Cloud 的全新合作伙伴关系

我们非常期待通过与 Google Cloud 的深入合作,让这一愿景加速实现——无论你使用的是 Vertex AI Model Garden、Google Kubernetes Engine、Cloud Run,还是 Hugging Face Inference Endpoints。通过这个 CDN Gateway,Hugging Face 的模型和数据集将直接缓存在 Google Cloud 上,大幅减少下载时间,并提升 Google Cloud 用户在模型供应链方面的稳定性和可靠性。

Hugging Face 659

使用 NVIDIA Isaac 构建医疗机器人:从仿真到部署

该流程通过约 70 个仿真演示和 10–20 个真实演示相结合,在模拟多样场景的同时,也保留真实数据的可靠性。NVIDIA Isaac for Healthcare 是一个专为 AI 医疗机器人开发者打造的框架,提供从数据采集到训练、评估再到部署的全流程工具链,适用于仿真环境与真实硬件。仿真一直是医学影像中弥补数据缺口的重要手段,但在医疗机器人领域,它过去往往速度太慢、系统割裂,或难以迁移到现实应用中。值得一提的是,超过 93% 的策略训练数据来自仿真环境,充分说明仿真技术在缩小机器人数据鸿沟方面的优势。

Hugging Face 1686

Codex 正在推动开源 AI 模型的训练与发布

你可以训练 0.5B 到 7B 参数规模的模型,将它们转换为 GGUF 格式便于本地运行,还可以通过多阶段流程结合不同方法。Trackio 会通过自动运行评估任务,帮助你监控训练和评估的得分,并选择表现最好的模型检查点 (checkpoint)。这里的重点不是“Codex 自己开源模型”,而是让 Codex 作为编码代理,参与并自动化开源模型的训练、评估与发布全流程。我们已经展示了 Codex 如何处理模型微调的完整生命周期,验证数据、选择硬件、生成训练脚本、提交任务、监控进度,以及转换输出。

Hugging Face 884

经同意的语音克隆

每次生成时,系统会随机选择一个日常话题 (如天气、美食或音乐) ,使句子内容丰富多样,也更自然好读,有助于录音清晰、自然,并具备良好的语音质量,同时包含明确的同意声明。换句话说,模型不会擅自“说出”你的声音,除非你亲口同意。也就是说,“同意”成为系统运行的前提条件,让原本抽象的伦理原则变成了具体可操作的系统规则,并形成可追溯、可审核的交互记录:AI 模型只会在明确同意之后才运行。现在很多语音克隆模型只需要一句话就能模仿说话人的声音,因此这句用于表达“同意”的句子,也可以同时作为语音克隆的输入数据。

Hugging Face 1164

流式数据集:效率提升 100 倍!

比如,在 Hugging Face 上传大型数据集时,Xet 的去重机制大幅减少了数据传输量,上传更快;流式加载一直是快速了解数据集的好方法,但在训练模型时,大多数人仍然选择将数据预先下载到本地,或使用 S3 等云存储——我们在训练。包,支持 Spark 直接读写 HF 数据集,内置对 Parquet CDC 和 Xet 的支持,大幅加快大数据处理。在机器学习中,特别是在处理 TB 级别的数据时,数据加载一直是个大难题。库还不支持,或者你希望获得更高的控制权,我们也提供了强大的自定义流式能力。

Hugging Face 978

huggingface_hub 1.0 正式版现已发布:开源机器学习基础五周年回顾

在 Hugging Face Hub 的早期阶段,研究人员和开发者常常面临一个困扰: 训练一个先进的模型不仅耗时、耗资源,而且在训练完成后,模型往往“被困”在个人电脑里,只能通过不稳定的 Google Drive 链接进行分享。不再依赖单一的推理后端,而是与多家无服务器推理平台合作,包括 Together AI、SambaNova、Replicate、Cerebras、Groq 等,用户通过一个统一的 API 即可调用多个后端,路由透明,按请求计费,真正实现了“按需调用,轻松推理”。

Hugging Face 1618

Hugging Face 论文页面功能指南

认领成功后,系统会将你标记为论文的提交者,即可向 Daily Papers 提交论文。在每篇论文的页面右侧,你都能找到相关资源链接,例如模型、数据集、Spaces 以及其他有用的集合。作者只需在相关资源(如模型或数据集)的 README.md 中添加该论文的 arXiv 链接,即可将资源与论文自动关联。论文提交不限于你自己的工作,你也可以分享任何你认为对社区有价值的研究论文。如果你的论文尚未在 Hugging Face 论文页面建立索引,只需点击 index 按钮,即可一步添加。如果你是首次分享论文。

Hugging Face 646

LeRobot v0.4.0 正式发布:全面提升开源机器人的学习能力

LeRobot v0.4.0 为开源机器人领域带来重要升级:引入可扩展的 Datasets v3.0、强大的新 VLA (视觉-语言-动作) 模型如 PI0.5 与 GR00T N1.5,以及全新的插件系统,简化硬件集成。从重构的数据集到灵活的编辑工具、新的仿真环境,以及面向硬件的全新插件系统,LeRobot 正在持续演进,以满足前沿具身智能 (Embodied AI) 不断发展的需求。模型需要在正确设备上的规范化、按批次的张量,而你的机器人硬件则需要特定格式的动作命令。更多细节可阅读我们此前的。

Hugging Face 1798

Gaia2 与 ARE:赋能社区的智能体评测

现有的评测环境通常与特定任务紧密耦合,缺乏真实世界的灵活性,也无法反映开放世界中混乱的现实:模拟页面不会加载失败,事件不会自发发生,也不存在异步混乱。在理想情况下,AI 智能体应当是可靠的助手。当接收到任务时,它们能够轻松处理指令中的歧义,构建逐步执行的计划,正确识别所需资源,按计划执行而不被干扰,并在突发事件中灵活适应,同时保持准确性,避免幻觉。当接收到任务时,它们能够轻松处理指令中的歧义,构建逐步执行的计划,正确识别所需资源,按计划执行而不被干扰,并在突发事件中灵活适应,同时保持准确性,避免幻觉。

Hugging Face 1812

ZeroGPU Spaces 加速实践:PyTorch 提前编译全解析

它高效、灵活,非常适合演示,不过需要注意的是,ZeroGPU 并不能在所有场景下完全发挥 GPU 与 CUDA 栈的全部潜能,比如生成图像或视频可能需要相当多的时间。根据模型的不同,这个过程可能需要几十秒到几分钟,对于 Spaces 中的实际 GPU 任务来说,这显然太慢了。通过提前编译,我们可以在一开始导出已编译的模型,将其保存,然后在任意进程中即时加载。否则,如果存在不兼容问题,就会报错。例如,在 Wan 系列视频生成模型中,如果你希望编译后的模型能够生成不同分辨率的内容,就会遇到这种情况。

Hugging Face 960

开源开发者须知:欧盟《人工智能法案》对通用人工智能模型的最新要求

根据 其第 3 条第 63 款 的定义,GPAI 模型是指:“人工智能模型,包括那些通过大规模自监督方式训练、具备显著通用性,并能够胜任多种不同任务的模型,无论其在市场上的投放方式如何,该类模型都能够被集成到各种下游系统或应用中。虽然《网络弹性法案》的措辞可能对《人工智能法案》的解释不具备约束力,但其中的这一表述以及其他相关措辞确实指向一种理解,即在FOSS 许可下提供的软件,并不总是、也并非本质上就应当被视为《网络弹性法案》意义下的“商业活动”,特别是在生产者未对其进行“商业化”的情况下。

Hugging Face 2119

欢迎 GPT OSS —— 来自 OpenAI 的全新开放模型家族!

在 GPT OSS 中,system 消息遵循严格格式,并包含当前日期、模型身份以及推理强度等级等信息,而 “developer” 消息则更为自由,这 (令人困惑地) 使它类似于其他模型的 “system” 消息。Hugging Face 与 Azure 合作,将最受欢迎的开源开放模型 (涵盖文本、视觉、语音与多模态任务) 直接引入 Azure AI Model Catalog,便于客户在托管在线端点中安全部署,借助 Azure 的企业级基础设施、自动扩缩与监控能力。轻松在多张 GPU 上部署。

Hugging Face 2556

Hugging Face 开源机器人 Reachy Mini 开启预定

无论是 AI 开发者、极客或黑客、科研人员、教育工作者、机器人爱好者,还是与孩子一同学习编程的家长,Reachy Mini 都能帮助你在桌面环境中高效完成 AI 应用的开发、最新算法的测试、项目的实际部署以及创新成果的共享。:通过上传、下载和分享机器人行为,实现行为复用与组合创新,随着 Reachy Mini 社区的发展,可能性将呈指数级扩展。:与 Hugging Face 社区超千万用户一起,上传、分享与下载机器人行为,共同扩展智能机器人的边界。:集成摄像头、麦克风与扬声器,支持基于 AI 的视听交互。

Hugging Face 1801

开源人工智能:数字主权的基石

像 OLMO2(一个相对较小的模型,其训练方法和数据完全透明,性能与 OpenAI 的 o1-mini 相当)或 OlympicCoder(一个更小的模型,在复杂编码任务上性能超过最新的 Claude 模型)这样的开源项目,充分体现了协同创新在构建先进人工智能模型中的潜力。这种能力的积累,不仅有助于形成符合本地价值观与监管要求的人工智能系统,更是面向未来的关键竞争力,在人工智能深度塑造经济、治理与社会结构的时代背景下,具有不可替代的长期战略意义。:确保在一国领土内生成的数据受该国法律和治理结构的约束。

Hugging Face 1276

nanoVLM: 简洁、轻量的纯 PyTorch 视觉-语言模型训练代码库

该模块将视觉主干网络产生的图像嵌入作为输入,并将它们转换为与语言模型嵌入层的文本嵌入兼容的嵌入。减少了图像标记的数量,这有助于降低计算成本并加快训练速度,特别是对于对输入长度敏感的基于 transformer 的语言解码器。下图演示了这个概念。在这篇博客中,我们介绍了什么是 VLM,探讨了支撑 nanoVLM 的架构选择,并详细解释了训练和推理工作流程。,可以帮助你构建和训练一个能够理解图像和文本,并基于此生成文本的模型。如果你尝试了它,并在它的基础上尝试构建,或者你只是有问题,我们都很乐意听到你的反馈。

Hugging Face 1473

HF Papers 直播| AI Insight Talk 强化学习专场

研究方向为多模态通用感知模型、多模态大模型后训练算法,在人工智能国际顶级会议及期刊发表论文十余篇,谷歌学术累计引用超过1900次,作为核心作者(共一二作)参与研发的多模态大模型InternVL-Chat系列模型在HuggingFace社区累计下载量突破1000万次,开源代码在Github获得stars超过8000个。已在 NeurIPS,ICLR,ACL 等国际顶级会议上发表多篇论文,谷歌学术引用量 600+,担任 NeurIPS 等顶级会议审稿人。为了更好的社区互动过,我们在本次直播加入了圆桌讨论环节。

Hugging Face 1260

SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案

从左到右: (1) 异步的拾取 - 放置立方体计数,(2) 同步的拾取 - 放置立方体计数,(3) 在扰动下的拾取 - 放置立方体计数,(4) 在真实世界 SO101 上的乐高积木拾取 - 放置任务泛化。与学术基准不同,社区数据集自然地捕捉到了杂乱、现实的互动: 多变的光照、不完美的演示、非常规物体和异质的控制方案。在过去的几年里,Transformers 技术推动了人工智能的显著进展,从能够进行类人推理的语言模型到理解图像和文本的多模态系统。然而,在实际的机器人领域,进展则相对较慢。

Hugging Face 2427

参加 Hugging Face 组织的 Gradio & MCP 智能体主题黑客松

一场以智能体 (Agent) 和模型上下文协议 (Model Context Protocol,简称 MCP) 为核心的全球在线黑客松即将来袭!Model Context Protocol (MCP) 是一个开放协议,旨在标准化应用如何向大语言模型 (LLM) 提供上下文信息。:在 6 月 8 日 23:59 (UTC) 之前提交至对应的 Hugging Face Spaces。构建一个完整的 AI 智能体展示应用 (可使用 MCP,也可以不使用) ,让我们看到它真正能做些什么!

Hugging Face 1608

大模型评估排障指南 | 关于可复现性

它们在标准测试集 MATH-Hard 上预测的答案完全正确,但在 few-shot 简单模板测试中评估得分反而较低,很可能就是过拟合了 GSM8K 数据集 (另一个数学测试集) 的 prompt 和答案格式。,如果不看代码,你可能觉得就是上文提到的那样,直接对比预测结果和参考答案,不过: 如果查看代码会发现,在做对比之前预测结果还多做了一步归一化 (去除标点符号、统一数字格式等),这明显会改变对比得分。(没错不用惊讶,不一致时也会影响结果差异,因为不同模型对不同样本的表现是不一样的)。

Hugging Face 1157
上一篇: 英特尔 Gaudi 加速辅助生成
下一篇: Hugging Face Accelerate 两个后端的故事:FSDP 与 DeepSpeed
Hugging Face
Hugging Face Hugging Face 官方账号 Hugging Face 官方账号
博客等级 码龄4年 1862粉丝 378原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值