MoE经典论文简述

最新推荐文章于 2025-12-03 00:00:00 发布
原创 最新推荐文章于 2025-12-03 00:00:00 发布 · 630 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型

1.开创工作

1.1 Adaptive mixtures of local experts, Neural Computation’1991

论文：Adaptive mixtures of local experts

这是大多数MoE论文都引用的最早的一篇文章，发表于1991年，作者中有两个大家熟知的大佬：Michael Jordan 和 Geoffrey Hinton。

提出了一种新的监督学习过程，一个系统中包含多个分开的网络，每个网络去处理全部训练样本的一个子集。这种方式可以看做是把多层网络进行了模块化的转换。

假设我们已经知道数据集中存在一些天然的子集（比如来自不同的domain，不同的topic），那么用单个模型去学习，就会受到很多干扰（interference），导致学习很慢、泛化困难。这时，我们可以使用多个模型（即专家，expert）去学习，使用一个门网络（gating network）来决定每个数据应该被哪个模型去训练，这样就可以减轻不同类型样本之间的干扰。

其实这种做法，也不是该论文第一次提出的，更早就有人提出过类似的方法。对于一个样本

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AIGC算法工程师-面试八股文-2025年版本-算法八股文/工程八股文/开放式问题
沉迷单车的追风少年
04-14 3332
​两年前整理了《AIGC算法工程师 面试八股文》，全网一共有100w读者看过，收到了很多小伙伴的催更。Diffusion的技术发展非常快，博主特意整理了最近两年最新的八股文，内容非常全面，涵盖算法八股文/工程八股文/开放式问题三个大类，希望能为求职的读者们带来帮助。
【论文阅读】MOE大模型里程碑《OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER》
qq_38142901的博客
04-27 987
已知神经网络处理信息的能力受限于模型参数,而条件计算可以在提升模型的能力的同时,让模型计算量不会成比例增长.但是条件计算策略会对模型算法与性能带来挑战(文中挑战性内容有说明).本文通过搭建可训练稀疏门控网络与上千个专家的moe方案解决了条件计算中的大部分挑战,实现了条件计算策略下的预期.同时本文通过语言翻译类任务的多项实验证明了该方案的有效性.本文核心的点是提出了稀疏门控网络,考虑负载均衡的两个辅助损失函数,以及在工程上并行等优化实现了137B的大模型,为后续moe在大模型中的应用奠定了基调.
【LLM MoE Pretrain】论文分享：DeepSeekMoE
LG154721的博客
05-18 1244
论文名称：DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models；机构：DeepSeek AI + 北大 + 清华 + 南大
稀疏混合专家(Sparse MoE)架构论文全景
最新发布
极客BIM工作室
12-03 1399
稀疏MoE架构已成为解决大模型"规模-效率"困境的主流方案，从1991年的理论构想，到2017年的技术突破，再到2024年的百万专家模型，论文数量已达数百篇。上述仅列举了具有里程碑意义的关键论文，完整的研究谱系还包括更多关于训练稳定性、推理优化、模型压缩等方向的工作。若需特定领域(如计算机视觉、多模态)的稀疏MoE论文或最新研究进展，可进一步查询相关专业论文数据库。
MoE（Mixture of Expert）简单research
kandysoso的博客
03-04 4018
MoE 简单 research
【大模型LLM面试合集】大语言模型架构_MoE论文
chen695969的博客
07-09 1479
神经网络的吸收信息的容量（capacity）受限于参数数目。条件计算（conditional computation）**针对于每个样本，​激活网络的部分子网络进行计算**，它在理论上已证明，可以作为一种显著增加模型容量的方法。在实际中，在牺牲少量计算效率的情况下，实现了1000 倍的模型容量（model capacity）的提升。引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer），包括数以千计的前馈子网络。
MOE论文详解(1)-OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-15 2281
这是2017年Google Brain团队发表的一篇比较经典的论文, 可以做为MOE在大语言模型上应用的第一篇, MOE全称是混合专家(Mixture of Experts). 这里的每个Expert都是一个更小的神经网络, 比如最简单就是FC全连接网络, MOE整体不是一个完整的网络结构, 而是作为layer层嵌入到别的网络中.
deepseek论文摘要驯化
03-08
简述所采用的技术路径和技术细节。比如提到DeepSeekMoE是如何向混合专家架构演进而实现更专业的功能；或是介绍DeepSeek-V2怎样设计成既具备强大的性能又保持成本效益的特点。 #### 3. 结果总结 指出实验验证后的...
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 2049
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4886
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
混合专家模型（MoE）2022-2023顶会顶刊论文合集，包含算法、系统、应用3大类
学姐带你玩AI的博客
12-22 7451
是一种深度学习技术，它通过将多个模型（这些模型被称为"专家"）直接结合在一起，以加快模型训练的速度，获得更好的预测性能。这种模型设计策略在大模型中尤为重要，它可以解决大模型在训练时面临的一些问题。比如通过层之间的参数共享，MoE能够压缩模型大小；利用MoE的设计，可以扩大模型容量。目前，基于Transformer扩展的大模型是当前各种大模型的主干，MoE则是扩展Transformer的一种关键技术。在大模型已至瓶颈的现在，MoE技术的发展为如何降低大模型训练难度和推理成本等难题提供了新的解题思路。
【大模型】MoE论文简单解读
zkw54334的博客
05-15 1732
模型容量与条件计算神经网络对信息的吸收能力（即模型容量）受限于其参数总量。条件计算（Conditional Computation）通过为每个样本仅激活部分子网络，有效地提升了模型的表达能力。理论研究表明，这种方法在仅牺牲少量计算效率的前提下，可带来上千倍的模型容量提升。稀疏门控专家混合层（Sparsely-Gated MoE）为实现高效的条件计算，引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer）。该层由数千个前馈子网络（专家）组成。
【论文阅读】MOE，《OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER》
bylander的博客
04-23 1264
MoE这种方法很容易想象，因为人的大脑有类似的机制。人的大脑针对不同的任务，只有部分的神经元集群激发进行工作，大脑的不同区域有不同的分工。
MoE训练论文解读之Megablocks：打破动态路由限制
Kaiyuan_sjtu的博客
11-08 1122
作者|方佳瑞（已授权）整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/653270049GPT-4用了Mixture-of-Experts（MoE）架构，引起了广泛关注。然而，MoE训练并不是一项简单的任务，它面临着一些主要的挑战和难点：1、动态路由限制：当前的框架对MoE层中的动态路由进行了限制，以满足现有软件和硬件的约束条件。用户必须在计算中选择d...
MOE论文详解(3)-Switch Transformers
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-17 4631
Switch Transformers也是google在2022年发表的一篇论文, 该论文简化了MoE的路由算法, 减少了计算量和通信量; 第一次支持bfloat16精度进行训练. 基于T5-Base和T5-Large设计的模型在相同的算力下训练速度提升了7x倍; 同时发布了1.6万亿(1.6 trillion)参数的MoE模型，相比T5-XXL模型训练速度提长了4x倍.
MOE论文详解(4)-GLaM
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-18 2142
2022年google在`GShard`之后发表另一篇跟MoE相关的paper, 论文名为`GLaM (Generalist Language Model)`, 最大的GLaM模型有1.2 trillion参数, 比GPT-3大7倍, 但成本只有GPT-3的1/3, 同时效果也超过GPT-3.
MoE 系列论文解读：Gshard、FastMoE、Tutel、MegaBlocks 等
2401_84033492的博客
05-25 5130
之前的高性能分布式 MoE 训练系统主要是针对 Google 的硬件（TPU）和软件（Mesh TensorFlow），并且不向公众开放，针对 NVIDIA GPU 和 Pytorch 还没有相应方案。在 [2103.13262] FastMoE: A Fast Mixture-of-Expert Training System 中，作者提出 FastMoE，其是一个基于 Pytorch 的分布式 MoE 训练系统，并提供高度优化的高性能加速方案。
【大模型LLM面试合集】大语言模型架构_MoE经典论文简牍
chen695969的博客
08-06 1291
总结了一下笔者在阅读 MoE 相关文献时印象较深的几篇文章，上述所阅读的文献主要与NLP相关的，其实 MoE 在各个领域中的应用已经十分广泛。比如Google提出的多模态MoE模型——LIMoE：, ICLR’21MoE 的思想，其实十分符合 Google 提出的 Pathways 愿景，也更加符合通用人工智能的设计理念。虽然目前 MoE 的工作，多数都是开发“超级模型”，但是上面列举的一些工作也表明 MoE 的用途还有很多，可以启发很多方向上方法的改进。
大模型：混合专家模型（MoE）概述（二）通过论文学习MoE的主要原理
Code1994的博客
12-15 1627
Adaptive mixtures of local experts，这是大多数MoE论文都引用的最早的一篇文章，发表于1991年。论文介绍了一种新的监督学习过程——由多个独立网络组成一个系统，每个网络单独处理训练集合的子集。因为对于多任务学习，如果是常见的多层网络学习，各层之间的网络通常会有强烈的干扰效应，这会导致学习过程变慢和泛化能力差。
moe论文
03-20
### 关于Mixture of Experts (MoE)模型的相关论文 Mixture of Experts (MoE) 是一种用于提升大规模深度学习模型效率和性能的技术，在许多领域得到了广泛应用[^1]。为了帮助研究者更好地理解 MoE 的理论基础及其实际应用，以下是几篇经典的 MoE 相关论文以及可能的获取方式： #### 经典论文推荐 1. **"Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"** - 这篇论文由 Google 提出，首次引入了稀疏门控混合专家层的概念，并展示了如何通过 MoE 架构显著提高神经网络的规模而不增加过多计算开销[^2]。 - 可能的下载链接：可以通过 ArXiv 或官方出版平台访问该论文。 2. **"Scaling Memory Efficiently with Sparse Gates and Mixtures of Experts"** - 此论文进一步探讨了 MoE 在内存优化方面的潜力，提出了更高效的实现方案来降低训练过程中的资源消耗[^3]。 - 建议查阅相关会议记录（如 NeurIPS, ICML），通常这些顶级会议上会发布高质量的研究成果。 3. **"Efficient Training of Massive-Scale Language Models via Routing-Based Parameter Partitioning"** - 聚焦于超大语言模型的高效训练方法，其中涉及到了基于路由参数划分的方法论改进。 - 类似上述两篇文章一样，可以在预印本服务器或者学术数据库找到具体版本号对应的文档。 #### 获取途径建议 对于希望获得以上提到的具体论文全文的情况，可以尝试以下几个渠道： - 使用搜索引擎直接输入标题名称加上“.pdf”，很多时候能够免费得到合法授权下的PDF文件； - 登录各大知名期刊网站比如 IEEE Xplore Digital Library、SpringerLink 等检索相应文章； - 利用机构订阅权限进入 ACM 数字图书馆或 Elsevier ScienceDirect 平台查询目标资料。 ```python import requests from bs4 import BeautifulSoup def fetch_paper_links(query): base_url = f"https://arxiv.org/search/?query={query}&searchtype=all" response = requests.get(base_url) soup = BeautifulSoup(response.text, 'html.parser') links = [] for result in soup.find_all('a', title="Download PDF"): link = "https://arxiv.org" + result['href'] links.append(link) return links[:5] papers = fetch_paper_links("mixture of experts") for paper in papers: print(paper) ``` 此脚本提供了一个简单的例子展示如何自动化抓取 arXiv 上有关 “mixture of experts” 主题的部分最新论文链接列表。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值