使用 MergeKit 创建专家混合模型

 随着 Mixtral 的发布，混合专家(MoE)架构在最近几个月变得流行起来。这种架构提供了一个有趣的权衡：以增加显存使用为代价换取更高性能。虽然 Mixtral 和其他 MoE 架构都是从头开始预训练的，但最近出现了另一种创建 MoE 的方法。得益于 Arcee 的 MergeKit 库，我们现在可以通过集成多个预训练模型来创建新型 MoE。这类模型通常被称为"缝合 MoE"(frankenMoE)或"混合 MoE"(MoErge)，以区别于预训练的 MoE 模型。

本文将详细解析混合专家(MoE)架构的工作原理及 frankenMoE 的创建方法。最后我们将使用 MergeKit 工具制作专属的 frankenMoE 模型，并通过多项基准测试进行评估。

混合专家模型(MoE)简介

混合专家模型是一种旨在提升效率与性能的架构设计。它采用多个被称为"专家"的专用子网络，与需要激活整个网络的稠密模型不同，MoE 仅根据输入数据激活相关专家模块，从而实现更快的训练速度和更