三、大模型原理：图文解析MoE原理

图文解析大模型MOE架构原理
最新推荐文章于 2025-09-25 10:41:15 发布
原创 最新推荐文章于 2025-09-25 10:41:15 发布 · 5k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型

2025年几乎所有领先的大型语言模型都采用了混合专家(Mixture of Experts，简称MOE)架构。

从GPT-4到DeepSeek V3，从Llama 4到Grock，这种稀疏激活的架构已经成为构建高性能AI系统的标准方法。

MOE（Mixture of Experts） 架构

MOE架构的主要组成部分

回顾下Transformer架构，我们会将token输入到Transformer中，Transformer架构是由N个编码器和N个解码器组成。编码器/解码器内部是由两部分组成：

  1. 注意力机制：残差+多头+LN
  2. 神经网络：残差+神经网络+LN
    在这里插入图片描述

而MOE架构主要修改的是Transformer模型中的神经网络部分。由左图中可知MOE包含两部分：

  1. 稀疏 MoE 层: 这我们只需将 Transformer 的神经网络多拷贝几份（后文会将这一层称为专家层），在复杂运用中也可能是多个MoE层。
  2. 路由层: 这个部分用于决定哪些token被发送到哪个神经网络中。例如，在下图中，“More”这个令牌可能被发送到第二个神经网络，而“Parameters”这个令牌被发送到第一个神经网络。有时，一个令牌甚至可以被发送到多个神经网络。该路由方式是由预训练学习的参数所得到的
    在这里插入图片描述

1. 专家层

我们无需在 Transformer 的每个前馈层都使用MOE层。即有的使用MOE有的保持神

最低0.47元/天 解锁文章
MOE（Mixture of Experts，混合专家）
ZJQ的博客
11-07 1055
MOE架构已被广泛应用于多个领域，包括自然语言处理（NLP）和计算机视觉（CV）等。在NLP领域，MOE被用于构建大型语言模型（如GPT-4），以提高模型的性能和效率。在CV领域，MOE也被用于图像分类、目标检测等任务中。在训练过程中，模型会学习如何根据输入数据的特征选择最合适的专家进行处理。在推理过程中，门控机制会根据输入数据选择一组专家进行激活，并产生输出。，实现了对输入数据的精细化处理和计算资源的智能分配。这种架构在提高模型性能和效率方面具有重要意义，并已在多个领域得到广泛应用。
【人工智能】MOE架构的详细解析
weixin_51306394的博客
09-10 4272
MOE（Mixture of Experts，混合专家）架构是一种用于提高深度学习模型性能和效率的神经网络架构设计。以下是对MOE架构的详细解析：
别再啃论文了！一文吃透MoE大模型，原理、优势、挑战全掌握，非常详细建议收藏
m0_59162248的博客
08-11 973
摘要：混合专家模型(MoE)通过将神经网络分解为多个专业"专家"模块，显著提升大模型的计算效率和扩展性。其核心原理是门控机制按需激活相关专家，实现稀疏计算。相比传统Transformer，MoE在计算效率、模型扩展性、训练速度和多任务处理方面优势明显，已应用于DeepSeek、SwitchTransformer等知名模型。但MoE仍面临训练稳定性、高内存需求和实现复杂度等挑战。随着AI发展，掌握MoE等前沿技术将获得竞争优势，建议开发者结合业务需求选择合适的大模型方案。
DeepSeek MoE 技术解析：模型架构、通信优化与负载均衡
关于我的学习记录
07-29 3136
下图是从模型参数切分和数据切分的角度（只考虑 FFN 层）来比较几种并行策略：（
一文吃透大模型MoE技术：原理、优势与落地挑战，大模型入门到精通，收藏这篇就足够了！
2301_81888214的博客
09-25 601
作为一名在技术领域摸爬滚打多年的老鸟，今天我就带大家深入剖析一下 MoE，看看它究竟为何能在大模型的舞台上崭露头角。
DeepSeek核心技术解码：图解MoE架构如何实现大模型的智能「分诊」系统
m0_59235699的博客
02-11 922
混合专家 (MoE) 是一种使用许多不同子模型（或「专家」）来提高 LLM 质量的技术。专家：每个 FFNN 层现在都有一组“专家”，可以从中选择一个子集。这些“专家”通常本身就是 FFNN。路由器或门网络：确定哪些令牌被发送给哪些专家。在具有 MoE 的 LLM 的每个层级中，我们都会找到（某种程度上专业的）专家。注意，我们这里提到的专家并不是专攻「心理学」或「数据」等特定领域的专家。它最多只是在单词层面学习句法信息。更技术地说，专家的专长是在特定环境中处理特定的标记。
图解 MoE 模型
lyy2017175913的博客
10-14 3716
密集层（Dense Layers）稀疏层（Sparse Layers）专家能学到什么？专家的架构专家混合模型（MoE）是一种通过使用多个不同的子模型（或“专家”）来提升 LLM 质量的技术。MoE 的两个主要组成部分为：专家（Experts）：每个前馈神经网络层（FFNN）现在都有一组可以选择的“专家”。这些“专家”通常本身也是前馈神经网络（FFNN）。路由器或门控网络（Router 或 Gate Network）：决定哪些 token 被发送到哪些专家。
多模态大模型：技术原理
七刀的专栏
05-21 1313
多模态大模型（LMMs）代表了人工智能从单模态向多模态进化的重要里程碑，能够同时处理和理解文本、图像、音频等多种数据类型。与单模态模型相比，多模态大模型通过跨模态对齐和统一表示空间实现更复杂的交互与生成。其技术架构包括单流、双流和混合架构，关键技术组件涵盖模态编码器、跨模态对齐和统一表示空间。训练策略分为单模态预训练、跨模态对齐训练和多任务微调。典型的多模态大模型如GPT-4V、Gemini和Qwen-VL在视觉问答、图像生成等任务中表现优异。应用场景广泛，包括内容生成、医疗诊断和工业制造等。然而，多模态大
人工智能基于MoE架构的多模态模型技术解析：Gemini在医疗金融工业领域的应用与优化路径
最新发布
11-18
内容概要：本文介绍了Google DeepMind团队研发的Gemini多模态大模型，涵盖其技术架构、分层结构、应用场景及发展演进趋势。核心技术包括Pathways分布式训练框架、MoE（专家混合）动态路由机制和跨模态注意力机制，...
AI大模型：技术演进、核心原理与产业解析
七刀的专栏
05-19 987
AI大模型是基于深度学习框架构建的超级智能体，具有超大规模参数、海量训练数据、巨量计算资源和高维度认知能力。根据参数规模，AI模型可分为微型、中型、大型和超大型。技术演进从语言理解到多模态智能，经历了奠基、突破和成熟阶段，核心原理包括Transformer架构、预训练-微调范式和分布式训练体系。产业应用涵盖智能制造、生物医药、内容创作和智慧城市等领域。未来趋势包括架构创新、能效突破、伦理治理和生态演进。AI大模型的发展将继续推动技术进步和产业变革。
大模型系列：DeepSeek大模型与应用场景介绍
IT技术分享社区
03-10 1901
在训练方法上，它结合了预训练和监督微调（SFT），并采用了混合精度 FP8 训练，这不仅降低了算力需求，还在保证模型计算精度的前提下，大幅度减少了内存使用和计算成本。让我们共同期待 DeepSeek 在未来能够创造更多的奇迹，为我们带来更多的惊喜和便利，也希望更多的人能够关注和了解 DeepSeek，一起探索人工智能的无限可能。在创意写作领域，它同样表现出色。比如，在学习物理时，对于 “量子纠缠” 这样抽象的概念，DeepSeek Chat 可以通过生动的比喻和详细的解释，让学生轻松理解其中的奥秘。
一文带你详细了解：大模型MoE架构（含DeepSeek MoE详解）
yinizhilianlove的博客
03-18 1357
本文作者将带你了解 MoEs的发展史、核心组件、训练方法，推理中各因素考量和DeepSeek MoE详解。相关思维导图如下所示：
【深度解析】图解Deepseek-V3模型架构-混合专家模型（MoE）
u011376987的博客
02-16 8993
混合专家（Mixture of Experts，简称 MoE）模型，是一种利用多个不同的子模型（或“专家”）来提升大语言模型（LLM）质量的技术。模型中的每个专家都是一个独立的神经网络，专门处理输入数据的特定子集或特定任务。例如，在自然语言处理任务中，一个专家可能专注于处理与语言语法相关的内容，而另一个专家可能专注于语义理解。门控网络的作用是决定每个输入样本应该由哪个专家或哪些专家来处理。它根据输入样本的特征计算出每个专家的权重或重要性，然后根据这些权重将输入样本分配给相应的专家。
50张图，直观理解混合专家（MoE）大模型
OneFlow深度学习框架
11-29 7925
Mixtral 8x7B的高效训练与推理效果曾引发AI社区对混合专家（MoE）模型的广泛关注，后来居上的国产开源大模型De‍epSeek以及腾讯近期开源的Hunyuan-Large（基于Transformer的最大MoE模型）也选择了MoE框架路线。为何大语言模型总是离不开MoE的身影？借助50多个图例，数据科学家Maarten Grootendorst由浅入深多维度剖析了MoE模型，从基础概念出...
传统混合专家模型MoE架构详解以及python示例（DeepSeek-V3之基础）
搏博的专栏
02-16 2541
门控网络根据输入数据的特征计算每个专家的相关性得分，并选择得分最高的几个专家进行激活。DeepSeekMoE是基于MoE的，所以我们先分析一下传统混合专家模型MoE架构，MoE在处理大规模数据和复杂任务时为什么表现出显著的优势，因为MoE架构的具有稀疏激活、动态路由、负载均衡、可拓展性等多个核心特点。，根据输入数据的特征，计算每个输入与各个专家（Experts）模块的“适配度”分数，并选择适配度最高的几个专家来处理输入，实现稀疏激活。门控网络的输出是一个概率分布，表示每个专家对当前输入的处理能力。
一份MoE 可视化指南
2401_84208172的博客
10-09 1393
在查看最新发布的LLMs时，你可能会在标题中看到“MoE”这个词。那么，这个“MoE”到底代表什么？为什么现在有这么多 LLM 都在使用它呢？ 在本视觉指南中，我们将通过 50 多个图示来详细探讨这一重要组件：专家混合模型（MoE）！
MOE介绍 混合专家模型
duoyasong5907的博客
01-13 830
参考GShard论文笔记（1）-MoE结构可知，MOE具备以下几种特点：
【大模型理论篇】--Mixture of Experts架构
我是个好人呀，O(∩_∩)O
03-06 4584
概括来看，在MoE模型中，用混合专家层替换 Transformer 模型的每个前馈网络层，混合专家层由一个门控网络和一定数量的专家组成。在MoE模型的核心是“专家”子网络。这些专家是更大神经网络中的独立模块，每个模块都能够处理输入数据。其概念是不同的专家专注于输入数据的不同方面，从而使模型能够有效利用专门的知识。门控机制是一个关键组件，负责将输入引导至适当的专家网络。它根据一组门控值来决定每个专家的参与程度。门控机制可以实现为稠密或稀疏结构，其中稀疏结构由于选择性地激活部分专家，因而在计算上更加高效。
什么是MoE？
学习与分享人工智能技术
12-09 8752
本文详细介绍了混合专家模型MoE的概念及结构，并给出了python实现MoE网络进行红酒数据集分类的示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非常大模型

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值