MiniMax-01重磅发布：突破Transformer架构，4M超长上下文

MiniMax强势来袭

继公布全模态模型家族后，时隔5个月，MiniMax再亮相两大模型，并且模型权重完全开源。这两款新模型不仅性能与GPT-4o和Claude-3.5-Sonnet平起平坐，在上下文窗口方面的表现尤其突出，处理能力甚至达到其他顶尖模型的 20 - 32倍。

更重要的是，这两款全新模型扩展了新型Lightning Attention架构，突破了传统Transformer架构，同时也是线性注意力机制的首次大规模实现。

什么是线性注意力机制？

线性注意力机制是对传统注意力机制的优化升级，将传统注意力机制的二次计算复杂度转变为线性复杂度。这大幅降低了计算复杂度，提升了模型训练速度。早在2019年就有人提出了这一理论，但从来没有人在大规模的模型上实现过。

如今，MiniMax率先找了解题答案，无疑为处理长文本、大规模数据等复杂任务提供了有力支持，实力证明了线性注意力机制在大规模商用模型中的可行性。

MiniMax-01 系列模型介绍

此次 MiniMax 发布的 MiniMax-01 系列包含两款模型：基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。

MiniMax-Text-01

MiniMax-Text-01 是一个具有 4560 亿参数量的大规模语言模型，每个 token 会激活 459 亿参数。其主要技术特点包括：

• 采用 80 层网络架构

• 64 个注意力头，每个头维度为 128

• 32 个专家模型组成的 MoE 系统

• 支持高达 400 万 token 的推理上下文长度

• 词表大小达 200,064

在学术基准测试中，MiniMax-Text-01 展现出了令人瞩目的性能。例如在 MMLU 测试中达到 88.5 分，与顶级模型如 Claude 3.5 Sonnet（88.3 分）和 DeepSeek V3（88.5 分）处于同一水平。在 C-SimpleQA 任务中更是取得了 67.4 分的最佳成绩。

MiniMax-VL-01

MiniMax-VL-01 是一款将图像编码器和图像适配器集成到 MiniMax-Text-01 模型基础上开发的多模态模型，采用多模态大语言模型常用的 "ViT-MLP-LLM" 框架，具有动态分辨率功能。它不仅继承了文本处理的高效性，还具备强大的视觉理解能力，在多种视觉语言任务基准测试中展现出与顶尖模型相媲美的性能。

技术解读

Lightning Attention 和线性注意力机制

传统的 Transformer 架构中，注意力机制的计算复杂度是二次的，即随着输入序列长度的增加，计算复杂度成平方级增长。这极大限制了模型处理长序列的能力。

MiniMax-01 采用了 Lightning Attention，这是一种改进的线性注意力机制。通过将注意力计算分解为块内计算和块间计算，Lightning Attention 将二次计算复杂度转变为线性复杂度。这种分块策略不仅降低了计算负担，还提高了计算效率，使得模型能够处理更长的序列。

混合架构与专家系统 (MoE)

MiniMax-01 的混合架构结合了 Lightning Attention、Softmax Attention 和 Mixture-of-Experts (MoE)。MoE 系统通过将多个前馈网络专家组合在一起，每个 token 被路由到一个或多个专家，从而增强了模型的扩展性和计算效率。

 性能评估

学术基准测试

MiniMax-Text-01 在多个核心学术基准测试中表现出色，展示了其作为一个顶级大模型的实力。以下是一些关键的测试和结果

从以上基准测试结果可以看出，MiniMax-Text-01 在多个任务上与顶级模型如 DeepSeek V3 和 Claude 3.5 Sonnet 旗鼓相当，甚至在某些任务上表现更为优异。

长上下文处理能力

MiniMax-Text-01 在长上下文处理能力方面表现尤为突出。以下是一些相关测试结果：

这些测试结果表明，MiniMax-Text-01 在处理长文档、长篇对话等场景时，能够更好地保持对信息的理解和处理能力，提供更准确、连贯的输出。

模型下载

OpenCSG社区：

https://opencsg.com/models/AIWizards/MiniMax-Text-01

https://opencsg.com/models/AIWizards/MiniMax-VL-01