Acking666-优快云博客

原创【文献阅读】——Mixture of Diverse Size Experts

研究背景所有专家的规模相同，这限制了标记选择最适配规模的专家来生成下一个标记的能力研究动机不同token生成任务的难度差异提出的方法每层的专家具有不同的大小专家对分配策略知识混合性，即由于专家数量有限，每个专家涵盖的知识较为多样；以及知识冗余性，即多个专家共享相同的知识隔离某些专家使其始终作为共享专家被激活现有MoE架构的局限性由结构和规模完全相同的专家组成。同质化的架构在生成难度各异的标记时会成为显著的瓶颈我们的方法多样化规模专家。包含规模各异的专家。

2025-07-06 20:42:31 652

原创 [文献阅读]——MOE++: ACCELERATING MIXTURE-OF-EXPERTS METHODS WITH ZERO-COMPUTATION EXPERTS

1.训练数据的扩展和模型参数的大幅增加。2.MoE架构仅激活输入的子集参数。现有的MoE方法通常对所有token采用固定的混合机制，即每个token都激活相同数量的FFN专家。MoE++允许每个token根据其复杂性动态地与不同数量的FFN专家交互，或者通过常数向量进行调整，甚至完全跳过MoE层。这种设计不仅降低了计算开销，还提高了模型性能。研究方法：零计算专家零专家：直接丢弃输入，输出为0。复制专家：直接复制输入作为输出，相当于一个快捷方式。

2025-07-03 18:33:21 1206

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 【文献阅读】——Mixture of Diverse Size Experts

原创 [文献阅读]——MOE++: ACCELERATING MIXTURE-OF-EXPERTS METHODS WITH ZERO-COMPUTATION EXPERTS

空空如也

空空如也

原创【文献阅读】——Mixture of Diverse Size Experts