Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

一、论文核心总结

1. 主要内容

本文针对混合专家模型（MoE）从头训练成本极高的问题，提出专家升级（Expert Upcycling）方法：在持续预训练（CPT）阶段，通过复制已有专家+扩展路由，将E个专家的MoE逐步扩容为mE个专家，全程固定Top‑K路由，不增加单Token推理计算量，大幅降低训练成本。

• 核心流程：先训练小E专家MoE → 升级算子复制专家并扩展路由 → 持续预训练让复制专家打破对称、实现专业化。
• 理论框架：将性能差距分解为容量项与初始化项，指导升级策略设计。
• 实验效果：7B→13B参数实验中，升级模型性能对齐从头训练基线，节省约32% GPU时长；已有 checkpoint 场景可省约67%计算量。

2. 创新点

1. 全新扩容范式：首次在训练中渐进扩容MoE专家数，固定Top‑K保持推理成本不变，区别于稠密扩维、宽度扩展等增加推理量的方法。
2. 效用导向专家选择：基于梯度重要性分数非均匀复制高价值专家，有限CPT预算下效果远超均匀复制，差距闭合提升3倍以上。
3. 理论