Llama 4开源王座易主：多模态+MoE架构，小白也能玩转AI大模型！

最新推荐文章于 2025-11-23 18:06:24 发布

原创最新推荐文章于 2025-11-23 18:06:24 发布 · 681 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#llama #开源 #架构 #大模型学习 #人工智能 #开发语言 #java

原生多模态Llama 4终于问世，开源王座一夜易主！

美国科技巨头Meta在周六(4月5日)推出了其最强大的开源人工智能(AI)模型Llama 4，Llama 4目前有两个的版本，名为Scout和Maverick。

前者业界首款支持1000万上下文单H100可跑，后者更是一举击败了DeepSeek V3。目前，2万亿参数巨兽还在训练中。

Meta表示，Llama 4是一个多模态大模型，它能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并且可以在这些格式之间转换内容。

其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前，多模态功能仅在美国以英语提供。

Llama 4系列首次采用了混合专家(MoE)架构的模型，这种架构在训练和回答用户查询时的效率更高，可以将模型划分为多个专注于特定任务的“专家”子模型。

据Meta介绍，Scout和Maverick不仅是其“迄今为止最先进的模型”，也是“多模态领域中最先进的模型”。

据悉，Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数；Maverick也有170亿个活跃参数，但有128个“专家”模型，总参数量高达4000亿。

除了Scout和Maverick之外，Meta还在训练功能更加强大的Behemoth，称其为世界上最智能的大模型之一，是“新模型中的教师”。

所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练，以使它们具备 “广泛的视觉理解能力”。

Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取，也可以在WhatsApp、Messenger、Instagram Direct上获取。

该公司首席执行官扎克伯格周六发表讲话称：“我们的目标是建立世界领先的人工智能，将其开源，并使其普遍可用，以便世界上每个人都能受益。”

“我很久以前就说过，我认为开源人工智能将成为领先的模型，而随着Llama 4的推出，这一切已经开始发生。”他说，“Meta AI今天得到了一次重大升级。”

Meta首席产品官Chris Cox上个月表示，Llama 4的推出将让AI智能体变得更强大，使其具备更高水平的推理和行动能力。

据知情人士透露，Llama 3已经推出一年了，而Llama4之所以迟迟未能发布，是因为在开发过程中，该模型在技术基准上没有达到Meta的预期，尤其是在推理和数学任务方面。此外，Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。

Meta计划今年斥资高达650亿美元扩大其人工智能基础设施，然而投资者正向大型科技公司施压，要求它们展示投资带来的实际回报。

Meta 发布 Llama 4 系列 AI 模型，引入「混合专家架构」提升效率

Meta 现已发布旗下最新 Llama 4 系列 AI 模型，包含 Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth，Meta 透露相应模型都经过了「大量未标注的文本、图像和视频数据」的训练，以使它们具备「广泛的视觉理解能力」。

目前，Meta 已将系列模型中的 Scout 和 Maverick 上架到 Hugging Face（点此访问），而 Behemoth 模型则还在训练中。

其中 Scout 可以在单个英伟达 H100 GPU 上运行，而 Maverick 则需要英伟达 H100 DGX AI 平台或「同等性能的设备」。

一直在更新，更多的大模型学习和面试资料已经上传带到优快云的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述

Meta 表示，Llama 4 系列模型是该公司旗下首批采用混合专家（MoE）架构的模型，这种架构在训练和回答用户查询时的效率更高，所谓「混合专家架构」基本上是将数据处理任务分解为子任务，然后将它们委派给更小的、专门的「专家」模型。

Meta官宣开源首个原生多模态Llama 4，首次采用MoE架构，支持12种语言，首批发布一共两款：

另外，2万亿参数Llama 4 Behemoth将在未来几个月面世，288B活跃参数，16个专家。

Llama 4的横空出世，成为迄今为止开源最强，多模态能力最好的模型之一。

在大模型LMSYS排行榜上，Llama 4 Maverick冲上第二（ ELO得分1417），仅次于闭源Gemini 2.5 Pro。

仅用一半参数，Maverick推理编码能力与DeepSeek-v3-0324实力相当。

Llama 4 Scout最大亮点在于支持1000万上下文，相当于可以处理20+小时的视频，仅在单个H100 GPU（Int4 量化后）上就能跑。

在基准测试中，性能超越Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1。

即将面世的Llama 4 Behemoth（仍在训练中），是Maverick协同蒸馏的教师模型，使用30T多模态token在32K个GPU上进行预训练（FP8）。

目前在STEM基准测试中，超越了GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Pro。

Llama 4开源后，DeepSeek R2还远吗？

史上最强Llama 4开源，超越DeepSeek V3

Llama 4模型开源，标志着Llama生态系统进入了一个新纪元。

在大模型排行榜中，Llama 4 Maverick在硬提示（hard prompt）、编程、数学、创意写作、长查询和多轮对话中，并列第一。

仅在样式控制下，排名第五。

而且，1000万上下文Llama 4 Scout还击败了OpenAI的模型。

每个人还可以在WhatsApp、Messenger、Instagram Direct和网页上体验基于Llama 4的应用。

首次采用MoE，单个H100即可跑

Llama团队设计了两款高效的Llama 4系列模型，只要单个H100 GPU就能运行：

目前，正在训练的教师模型——Llama 4 Behemoth，它在STEM基准测试（如MATH-500和GPQA Diamond）中，性能优于GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Pro。

在最新博文中，Meta分享了更多的关于Llama 4家族训练的技术细节。

预训练

Llama 4模型是Llama系列模型中首批采用混合专家（MoE）架构的模型。

在MoE模型中，单独的token只会激活全部参数中的一小部分。

与传统的稠密模型相比，MoE架构在训练和推理时的计算效率更高，并且在相同的训练FLOPs预算下，能够生成更高质量的结果。

举个例子，Llama 4 Maverick模型的4000亿个总参数中有170亿个活跃参数。

为了提高推理效率，Meta交替使用了稠密层和专家混合（MoE）层。

MoE层用到了128个路由专家和一个共享专家。每个token都会被送到共享专家，同时也会送到128个路由专家中的一个。

因此，虽然所有参数都存储在内存中，但在运行这些模型时，只有部分参数会被激活。

这样就能提升推理效率，降低模型服务的成本和延迟——Llama 4 Maverick可以轻松部署在一台NVIDIA H100 DGX主机上运行，或者通过分布式推理来实现最高效率。

原生多模态设计

Llama 4是一个原生多模态模型，采用了早期融合技术，能把文本和视觉token无缝整合到一个统一的模型框架里。

早期融合是个大进步，因为它可以用海量的无标签文本、图片和视频数据一起来预训练模型。

Meta还升级了Llama 4的视觉编码器。这个编码器基于MetaCLIP，但在训练时跟一个冻结的Llama模型分开进行，这样能更好地调整编码器，让它更好地适配大语言模型（LLM）。

模型****超参数优化

Meta还开发了一种叫做MetaP的新训练方法，能让他们更靠谱地设置关键的模型超参数，比如每层的学习率和初始化规模。

这些精心挑选的超参数在不同的批大小、模型宽度、深度和训练token量上都能很好地适配。

Llama 4通过在200种语言上预训练实现了对开源微调的支持，其中超过10亿个token的语言有100多种，整体多语言token量比Llama 3多出10倍。

此外，Meta注重高效的模型训练，采用了****FP8精度，既不牺牲质量，又能保证模型的高FLOPs利用率——在使用FP8精度和32K个GPU预训练Llama 4 Behemoth模型时，达到了每个GPU 390 TFLOPs的性能。

训练用的整体数据包含了超过30万亿个 token，比Llama 3的预训练数据量翻了一倍还多，涵盖了文本、图片和视频数据集。

Meta用一种叫做「中期训练」的方式来继续训练模型，通过新的训练方法，包括用专门的数据集扩展长上下文，来提升核心能力。

这不仅提高了模型的质量，高效的训练了模型，还为Llama 4 Scout解锁了领先的1000万输入上下文长度。

2万亿巨兽，干掉GPT-4.5

Llama 4 Behemoth是一款「教师模型」，在同级别的模型里，它的智能水平相当高超。

Llama 4 Behemoth同样是一个多模态混合专家模型，拥有2880亿个活跃参数、16个专家以及近2万亿个总参数。

在数学、多语言处理和图像基准测试方面，它为非推理模型提供了最先进的性能，成为训练较小的Llama 4模型的理想选择。

教师模型+全新蒸馏

从Llama 4 Behemoth中蒸馏出来Llama 4 Maverick，在最终任务评估指标上大幅提升了质量。

Meta开发了一种新的蒸馏损失函数，在训练过程中动态地加权软目标和硬目标。

通过从Llama 4 Behemoth进行共同蒸馏，能够在预训练阶段分摊计算资源密集型前向计算的成本，这些前向计算用于计算大多数用于学生模型训练的数据的蒸馏目标。

对于学生训练中包含的额外新数据，会在Behemoth模型上运行前向计算，以生成蒸馏目标。

后训练

对一个拥有两万亿参数的模型进行后训练也是一个巨大的挑战，这必须彻底改进和重新设计训练方案，尤其是在数据规模方面。

为了最大化性能，不得不精简95%的SFT数据，相比之下，较小的模型只精简了50%的数据，目的是确保在质量和效率上的集中关注。

Meta还发现，采用轻量级的SFT后接大规模RL能够显著提高模型的推理和编码能力。Meta的RL方案专注于通过对策略模型进行pass@k分析来采样难度较大的提示，并设计逐渐增加提示难度的训练课程。

在训练过程中动态地过滤掉没有优势的提示，并通过从多个能力中混合提示构建训练批次，对提升数学、推理和编码的性能起到了关键作用。

最新的模型包含了不同的参数规模，满足各种使用场景和开发者的需求。

Llama 4 Maverick：参数规模较大，主要用于图像理解和创意写作
Llama 4 Scout：参数规模较小，适用多种任务，支持1000万token上下文，全球领先。

为了让不同模型适应不同的任务，针对多模态、超大参数规模等问题，Meta开发了一系列新的后训练方法。

作为产品的核心模型，Llama 4 Maverick在图像精准理解和创意写作方面表现突出，特别适合通用助手、聊天类应用场景。

训练Llama 4 Maverick模型时，最大的挑战是保持多种输入模式、推理能力和对话能力之间的平衡。

后训练流程

为了训练Llama 4，Meta重新设计了后训练流程，采用了全新的方法：

SFT和DPO可能会过度限制模型，在在线RL阶段限制了探索，导致推理、编程和数学领域的准确性不理想。

为了解决这个问题，Meta使用Llama模型作为评判者，移除了超过50%的被标记为「简单」的数据，并对剩余的更难数据进行轻量级SFT。

在随后的多模态在线RL阶段，精心选择了更难的提示，成功实现了性能的飞跃。

此外，他们还实施了持续在线RL策略，交替进行模型训练和数据筛选，只保留中等到高难度的提示。这种策略在计算成本和准确性之间取得了很好的平衡。

最后，进行了轻量级的DPO来处理与模型响应质量相关的特殊情况，有效地在模型的智能性和对话能力之间达成了良好的平衡。

新的流程架构加上持续在线RL和自适应数据过滤，最终打造出了一个行业领先的通用聊天模型，拥有顶尖的智能和图像理解能力。

Llama 4 Maverick碾压GPT-4o和Gemini 2.0

作为一款通用的LLM，Llama 4 Maverick包含170亿个活跃参数，128个专家和4000亿个总参数，提供了比Llama 3.3 70B更高质量、更低价格的选择。

Llama 4 Maverick是同类中最佳的多模态模型，在编程、推理、多语言支持、长上下文和图像基准测试中超过了类似的模型，如GPT-4o和Gemini 2.0，甚至能与体量更大的DeepSeek v3.1在编码和推理上竞争。

通用模型Llama 4 Scout：1000万token上下文

规模较小的Llama 4 Scout是一款通用模型，拥有170亿个活跃参数、16个专家和1090亿个总参数，在同类别中性能最好。

Llama 4 Scout 的支持上下文长度从 Llama 3 的12.8万激增到行业领先的1000万token。

这为多种应用打开了无限可能，包括多文档摘要、大规模用户活动解析以进行个性化任务，以及在庞大的代码库中进行推理。

Llama 4 Scout在预训练和后训练时都采用了256K的上下文长度，基础模型具备了先进的长度泛化能力。

它在一些任务中取得了亮眼成果，比如文本检索中的「大海捞针式检索」和在1000万token代码上的累积负对数似然（NLLs）。

Llama 4架构的一个关键创新是使用了交替注意力层，而不依赖于位置嵌入。

此外，在推理时采用了温度缩放注意力，以增强长度泛化能力。

Meta将其称为iRoPE架构，其中「i」代表「交替」（interleaved）注意力层，突出了支持「无限」上下文长度的长期目标，而「RoPE」则指的是在大多数层中使用的旋转位置嵌入（Rotary Position Embeddings）。

视觉理解能力

两款模型进行了大规模的图像和视频帧静态图像训练，以赋予它们广泛的视觉理解能力，包括对时间活动和相关图像的理解。

它们能够在多图像输入和文本提示的配合下，轻松进行视觉推理和理解任务。

模型预训练时最多用了48张图像，而在后训练测试中，最多8张图像也能取得不错的效果。

Llama 4 Scout在图像定位方面也是同类最佳，能够将用户的提示与相关的视觉概念对齐，并将模型的响应锚定到图像中的特定区域。

这使得更精确的视觉问答成为可能，帮助LLM更好地理解用户意图并定位感兴趣的对象。

编程、推理、长上下文和图像上，遥遥领先

Llama 4 Scout在编程、推理、长上下文和图像基准测试中超过了类似的模型，并且在所有以前的Llama模型中表现更强。

秉承对开源的承诺，Meta将Llama 4 Maverick和Llama 4 Scout提供给用户下载，用户可以在llama.com和Hugging Face上获取，之后这些模型还将在最广泛使用的云平台、数据平台、边缘硅片以及全球服务集成商上陆续上线。

最后，从多种系统指令中采样对于确保模型保持良好的指令跟随能力，在推理和编码任务中表现出色也至关重要。

扩展RL训练

对于两万亿参数的模型，扩展RL训练也要求重新设计底层的RL基础设施，应对前所未有的规模。

Meta优化了MoE并行化的设计，提高了速度，从而加快了迭代速度。

Llama团队开发了一个完全异步的在线RL训练框架，提升了灵活性。

与现有的分布式训练框架相比，后者为了将所有模型都加载到内存中而牺牲了计算内存，新基础设施能够灵活地将不同的模型分配到不同的GPU上，根据计算速度在多个模型之间平衡资源。

这一创新使得训练效率比之前的版本提升了约10倍。

Llama 4一夜成为开源王者，甚至就连DeepSeek V3最新版也被拉下神坛，接下来就是坐等R2的诞生！

如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到优快云的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述