开源如何追赶OpenAI？[Mixtral-8x7B]

Mistral AX7B: 利用混合专家架构提升大模型性能

本文介绍了 Mistral 公司发布的 AX7B 模型，该模型采用了混合专家 (Mixture of Experts, MOE) 架构，在性能上超越了 Gemini Pro、Claude 2.1 和 GPT 3.5。

混合专家架构 的核心思想是将一个大型神经网络拆分成多个较小的专家模型，每个专家模型专注于不同的领域。当用户输入问题或提示时，一个“路由器”会根据内容选择两个最合适的专家模型来处理，从而降低计算成本并提高生成速度。

这种架构的优势在于：

• 专业化： 小模型专注于特定领域，比大型通用模型更擅长处理特定任务。
• 效率： 只使用两个专家模型，减少了计算量，提高了生成速度。
• 组合优势： 将多个小型专家模型的优势结合起来，解决更复杂的问题。

路由器 的作用是选择最合适的专家模型，它在训练过程中学习如何选择。通过添加噪声和惩罚机制，确保所有专家模型都能得到充分训练，避免出现一个强、七个弱的情况。

Mistral AX7B 模型可以被视为一个 47B 参数的模型，但拥有 13B 模型的生成速度，或者一个 13B 参数的模型，但拥有 47B 模型的性能。 这说明路由器在选择专家模型方面起着至关重要的作用。

总而言之，Mistral AX7B 模型通过混合专家架构，在保持高效性的同时提升了大模型的性能，为大模型发展开辟了新的方向。

什么是Mixtral8-7B？它是一种秘密的专家混合（MoE）技术，它击败了OpenAI大约一年前发布的GPT-3.5？在本视频中，您将了解Mixtral8x7B是什么以及专家混合的工作原理，这些原理使它们成为LLM格式的新兴标准。专家混合[论文] https://arxiv.org/abs/2401.04088[项目页面] https://mistral.ai/news/mixtral-of-experts/[Huggingface文档] https://huggingface.co/docs/transformers/en/model_doc/mixtral