现代机器学习研究进展 第二部分 模型与架构 第 16 章：稀疏激活与大模型（Mixture-of-Experts, MoE）——理论、证明

第 16 章：稀疏激活与大模型（Mixture-of-Experts, MoE）——理论、证明与工程实现

=章节内容=包括：MoE 的基本数学表述与路由机制（含 noisy/top-k/soft/attention 路由的推导）、负载平衡与辅助正则项的严格定义与证明思路、训练稳定性（z-loss 等）的理论与数值原因、并行/通信/稀疏更新的工程实现细节（包括 expert/data/model parallelism、all-to-all 调度、容量/丢弃策略）、一个小规模 MoE 构建与路由行为分析（含可复制的 PyTorch 仿真），以及硬件友好路由、梯度/内存优化、经典论文与开源实现导引。

重要引用（本章关键论据与实现参考）：

• Sparsely-Gated Mixture-of-Experts（Shazeer et al., 2017）：提出 noisy top-k gating、load-balancing loss 与大规模 MoE 框架。arXiv

• Switch Transformer（Fedus, Zoph, Shazeer, 2021/2022）：提出更简单的 top-1/top-k 路由、capacity factor、auxiliary balancing loss、z-loss 等工程技巧以实现 tril