From Sparse to Soft Mixtures of Experts

UnknownBody

于 2023-08-23 16:43:12 发布

阅读量319

点赞数

文章标签：人工智能语言模型

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132453818

版权

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了一种名为Soft MoE的新型稀疏Transformer架构，旨在解决稀疏混合专家模型（MoE）的训练不稳定性、token丢失等问题。Soft MoE通过执行隐含的软分配，允许所有输入token的不同加权组合传递给每个专家，实现了更高的模型容量和更低的推理成本。在图像分类和对比学习实验中，Soft MoE表现出优于标准Transformer和流行MoE变体的性能，同时保持较低的推理成本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列的文章，针对《From Sparse to Soft Mixtures of Experts》的翻译。

摘要

稀疏混合专家体系结构（MoE）规模模型容量，而不会大幅增加训练或推理成本。尽管MoE取得了成功，但仍存在许多问题：训练不稳定、token丢失、无法扩大专家数量或微调无效。在这项工作中，我们提出了Soft MoE，这是一种完全可微的稀疏Transformer，它解决了这些挑战，同时保持了MoE的优势。软MoE通过将所有输入token的不同加权组合传递给每个专家来执行隐含的软分配。与其他MoE工作一样，软MoE的专家只处理（组合的）token的子集，从而以更低的推理成本实现更大的模型容量。在视觉识别方面，Soft MoE大大优于标准Transformer（ViTs）和流行的MoE变体（token选择和专家选择）。例如，Soft MoE Base/16需要比ViT Huge/14低10.5倍的推理成本（5.7倍的挂钟时间），同时在类似训练后匹配其性能。软MoE的扩展性也很好：在16个MoE层中拥有128名专家的软MoE Huge/14的参数比ViT Huge/14多了40倍以上，而推理时间成本仅增长了2%，而且性能要好得多。