Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

论文总结 + 章节翻译（Markdown 格式）

论文链接：https://arxiv.org/pdf/2605.29707
论文标题：MoE-Switch: Dynamic Routing Optimization for Mixture-of-Experts Large Language Models

---

一、论文主要内容 & 核心创新点

1. 主要内容

本文聚焦混合专家（MoE）大语言模型现存的路由低效、负载不均、激活冗余、推理延迟高等痛点，提出了一套名为 MoE-Switch 的动态路由优化框架。

1. 分析传统 MoE 静态路由、固定专家分配模式的缺陷：专家负载失衡、部分专家闲置/过载、不必要的计算开销拉高训练与推理成本。
2. 设计动态自适应路由机制，根据输入文本特征、序列长度、语义复杂度实时分配专家，而非固定选择专家。
3. 配套设计负载均衡约束、稀疏激活优化与路由损失函数，在保证模型表达能力不下降的前提下，提升计算利用率。
4. 在主流基座 MoE-LLaMA、Mixtral 等模型上完成大量实验，在通用对话、长文本理解、代码生成等任务上做全面评测。
5. 对比基线 MoE 方案、主流路由改进方法，验证方案在吞吐量、推理速度、显存占用、下游任务精度上的综合收益。