细粒度专家分工+动态偏置路由+共享专家隔离的三层架构

DeepSeek-V3模型的“细粒度专家分工+动态偏置路由+共享专家隔离的三层架构”是一种创新的混合专家（MoE）设计，旨在提升模型的性能、效率和专业化水平。以下是对这三部分架构的详细解析：

1. 细粒度专家分工

通过将传统MoE中的专家进一步拆分为更小的单元，每个子专家专注于更具体的任务领域。例如，传统MoE的每个专家可能是一个完整的FFN（前馈神经网络），而DeepSeek-V3将其拆分为多个小规模FFN，每个子专家的隐层维度降低为原来的 $1/m$，同时激活的专家数量增加 $m$ 倍，保持整体计算量不变。这种设计实现了以下优势：

• 专业化提升：每个子专家仅处理特定类型的输入（如情感分析、句法结构等），类似“分科更细的专科医生”。
• 灵活性增强：激活更多细粒度专家组合，使得模型能动态适应不同输入的需求。

2. 动态偏置路由

在路由决策中引入可学习的偏置项，实现负载均衡和高效调度。具体机制包括：

• 动态调整路由得分：Gate网络在计算专家得分时，为每个路由专家添加一个可学习的偏置项。负载过高的专家会被降低偏置值，负载不足的则提高，从而动态平衡专家利用率。
• 分阶段训练策略：预训练早期（前14.3T token）允许偏置项快速更新（学习率γ=0.001），以探索路由策略；后期（剩余500B token）固定偏置（γ=0），确保训练稳定性。
• 无需辅助损失：传统方法依赖辅助损失函数强制负载均衡，但可能干扰主任务性能。动态偏置机制通过闭环反馈实现无损均衡。

3. 共享专家隔离

共享专家与路由专家在参数和计算流程上隔离，分别处理通用知识和领域特定知识：

• 共享专家：每个MoE层包含1个共享专家，负责处理所有输入的基础特征（如句子的通用语义），类似于“全科医生”。
• 路由专家：每层256个路由专家，仅处理被动态路由分配的特定输入（如实体关系、情感表达等）。共享专家和路由专家的输出独立计算后聚合，避免参数冗余。
• 减少冗余：隔离机制防止路由专家重复学习共享知识，使其更专注于垂直领域，提升参数效率。

架构整合与效果

这三层架构通过以下方式协同工作：

1. 输入分诊：Gate网络根据输入内容动态选择细粒度路由专家，同时