22580 个 GPT-2 才等于 1 个 Kimi K3，参数暴涨背后的架构到底改变了什么？

关注

原创最新推荐文章于 2026-11-10 23:36:43 发布 302 阅读 AI 写同款· GEO 优化 ›

从零开始利用MATLAB进行FPGA设计（六）用ADC采集信号教程1 用AN9238采集信号的方法（1），包含PLL、FIFO、ILA的基础教程。阅读详情

2019 年，OpenAI 发布 GPT-2，参数量 1.24 亿。2026 年，月之暗面发布 Kimi K3，参数量 2.8 万亿。这意味着一个 Kimi K3 里面，装得下 22580 个 GPT-2。七年时间，参数规模扩大了两万多倍。但这不只是规模的故事——每一次架构跃迁，背后都是在解决上一代留下的具体问题。

在这里插入图片描述

GPT-2 的起点：Decoder-Only 与 KV Cache

GPT-2 是 Decoder-Only（纯解码器）架构，1.24 亿参数，12 个 Transformer 块，嵌入维度 768，词汇表约 5 万个 token。

自回归解码的工作方式决定了一个内在低效：模型每步生成一个新 token，但要为序列里所有之前的 token 重新计算 K、V 向量。KV Cache 的出现解决了这个冗余——把已经算好的 Key 和 Value 向量存下来，下一步直接复用。

代价是内存。随着序列增长，KV Cache 以 O(N) 的速度线性膨胀，在长文本场景下逐渐变成一个内存带宽瓶颈。这是 GPT-2 时代埋下的第一个伏笔。

线性注意力：把 O(N²) 变成 O(1)

标准 Softmax 注意力的计算复杂度是 O(N²)——序列越长，成本越高。线性注意力的思路是：把 Softmax 的非线性换成 ELU+1，分别作用于 Query 和 Key，让矩阵乘法的顺序可以重组。

这样一来，所有的 Key-Value 对可以被折叠进一个固定维度的状态矩阵（D×D），不随序列长度增长。内存需求从 O(N) 变成 O(1)。

但这里有一个根本性的取舍：ELU+1 是对 Softmax 的近似，表达能力弱于原版。换来了效率，付出了精度。这是第二个伏笔。

DeltaNet：从「加法」到「替换」

线性注意力的状态矩阵是纯加法更新——每写入一条新的 K-V 关联，都叠加在旧状态上。当状态矩阵的容量装满之后，新旧信息开始互相干扰，叫做「过容量」（overcapacity）。

DeltaNet（来自 Fast Weight Programmers 研究）提出了一个精确的修复方案：每次写入新事实之前，先查出当前状态里存了什么，把旧信息减掉，再写入新的。这是从「加法更新」到「替换更新」的关键跃迁。

用 ali 的原话：「先删再写，而不是只写。」

DeltaNet 的并行化是这套系统里最难的部分——原版 Delta Rule 每步都需要前一步的状态，天然是串行的。研究者用 Chunk-wise 分块计算绕过了这个限制：序列分成大小为 C 的块，块内做标准注意力（O(C²)），块间走状态递推（O(D²)）。当 C=N 时退化为标准注意力，当 C=1 时就是普通线性注意力，中间值可以在效率和硬件利用率之间做权衡。

Gated DeltaNet：学会主动遗忘

DeltaNet 解决了「精确替换单个关联」的问题，但还缺一个能力：主动衰减整体记忆。如果上下文切换了主题，模型没办法快速清空旧信息。

Mamba 引入了门控机制——给状态加一个 0 到 1 之间的衰减系数，让旧信息逐步淡出，新信息以全强度写入。但 Mamba 的衰减是均匀的：要遗忘一个关联，所有关联都会一起衰减。

Gated DeltaNet 把两者结合：用 Delta Rule 做精确替换，用门控参数 α 控制整体衰减。α=1 时退化为纯 Delta Rule，α=0 时清空整个记忆。一个参数，两种极端，中间连续可调。

这让模型既能精确更新单条事实，又能应对上下文切换时的大规模遗忘需求。

Kimi Linear：细粒度到每个通道

Gated DeltaNet 的衰减系数是全局标量——对所有通道一视同仁。Kimi Linear（正式名称 KDA，Kimi Delta Attention）把这个标量拆成了向量：每个通道有自己的衰减值 alpha，维度 = 隐藏层维度 d。

这是 Kimi Linear 最核心的贡献：细粒度记忆控制。不同通道里存的是不同类型的信息，理应以不同的速率衰减。

Kimi Linear 同时引入了混合架构设计：KDA 层（线性注意力）负责维护固定大小的循环状态，MLA 层（Multi-head Latent Attention，多头潜在注意力）负责对完整上下文做标准 Softmax 检索。两种层交替出现，互相补位。

在受控对比实验下，Kimi Linear 宣称在相同参数量下超过纯 Softmax 注意力模型，且解码吞吐量最高提升 6 倍。

Kimi K3：2.8 万亿参数的工程组合

Kimi K3 是在 Kimi Linear 基础上做大规模扩展，但工程细节上做了几处重要调整。

整体结构：23 个四层宏循环（macrocycle），每个宏循环里 3 层用 KDA，1 层用 MLA。每 12 层做一次 AttnRes（注意力残差）节点，共 8 个 AttnRes 块。

MoE 专家系统：每层 898 个专家，其中 2 个共享专家处理所有 token，896 个路由专家每个 token 只激活 16 个。相比纯 MLA 架构，KV Cache 最多减少 75%，128K 长文本场景推理速度提升约 3.98 倍（数据来自月之暗面 2026 年技术报告）。

AttnRes（注意力残差）：标准 Transformer 的残差连接里，每一层的输入是前面所有层输出的等权叠加，越到后面，主导层的信号越难突出。AttnRes 给每一层都加了一组可学习权重，让模型用 Query-Key 点积来决定从哪些历史层重点取用信息。每 12 层做一次，把累积的层间信号重新整理一遍。代价是约 2% 的推理延迟，换来的是对深层表示的选择性访问和 1.25 倍的计算优势。

SiTU 激活函数：把原来 SiLU 的上投影替换为两路门控结构。未融合内核下比原路径慢约 3 倍，但专家运行在压缩的潜在空间内，前向 FLOPs 近乎减半，综合下来是正收益。

这一切组合的结果：Arena AI 前端编程全球第一，得分 1679 分；2026 年 7 月 27 日正式开源，权重全球可下载。

2026 年的参数战争：Kimi K3 站在哪里

Kimi K3 开源同周，中美大模型的参数军备竞赛进入新阶段：

模型	参数量	开发方	状态
Kimi K3	2.8T	月之暗面	已开源
Grok 4.6	2T	xAI	预计 8 月 7 日前
Qwen3.8-Max	2.4T	阿里	即将开源
DeepSeek V4	未披露	DeepSeek	月底预计发布

美国研究人员访谈后给出的判断：中美 AI 差距已缩短至 3 至 5 个月（来源：Kimi K3 发布期间多家媒体引用）。从架构深度来看，Kimi K3 的 KDA 混合线性注意力机制是自研创新，并非跟随 GPT / Claude 路线，代表了一条独立的技术演化路径。

开发者如果想在同一界面横向对比多个旗舰模型的实际表现，可以使用支持多模型并排测试的推理平台——例如七牛云 AI 大模型广场，无需切换账号即可在同一任务下对比不同模型的输出质量。

在这里插入图片描述

七年演进的主线

回顾从 GPT-2 到 Kimi K3 的每一步：

GPT-2 → 线性注意力：解决 O(N²) 计算成本，代价是近似精度
线性注意力 → DeltaNet：解决状态过容量，从加法变替换
DeltaNet → Gated DeltaNet：解决无法主动遗忘，引入门控衰减
Gated DeltaNet → Kimi Linear：解决粗粒度衰减，细化到 per-channel
Kimi Linear → Kimi K3：混合 MLA 精确检索 + MoE 稀疏容量 + AttnRes 深度访问

ali 的总结最精准：「一个固定容量的联想记忆，需要驱逐策略。纯加法操作在达到容量上限后不可避免地产生干扰。为此，必须有学到的选择机制——门控、路由或衰减——而注意力是最有效的选择性读取机制。」

22580 倍的参数增长是结果，不是原因。驱动每一步跨越的，是前代架构在边界条件下暴露的具体缺陷。

本文核心技术内容基于 @waterloo_intern（ali）2026 年 7 月 28 日发布的技术 worklog，以及月之暗面 Kimi K3 技术报告（2026 年 7 月）。

常见问题

Q：Kimi K3 的 MoE 和普通 MoE 有什么区别？
Kimi K3 使用了潜在空间 MoE（Latent-Space MoE）——专家在压缩后的潜在空间里运行，而不是直接处理全维度表示。这让每个专家的 FLOPs 近乎减半，同时共享专家（2 个）处理所有 token 保底，路由专家（896 个选 16 个）提供稀疏容量。

Q：KDA 和 MLA 分别负责什么？
KDA（Kimi Delta Attention）是改进版线性注意力，维护固定大小的循环状态，负责「记忆存储与精确更新」；MLA（Multi-head Latent Attention）是标准 Softmax 注意力的压缩版，负责对完整上下文做「精确检索」。每 4 层宏循环里，3 层 KDA + 1 层 MLA 交替出现，覆盖不同的信息需求。

Q：Kimi K3 开源了吗，在哪里下载？
是的，2026 年 7 月 27 日正式开源，模型权重已在 ModelScope（魔搭社区）和 HuggingFace 上线，全球可下载。

Q：Kimi K3 和 Grok 4.6 谁更强？
目前两者尚无直接对比基准——Grok 4.6 在 2026 年 7 月 29 日尚未正式发布。Kimi K3 参数量（2.8T）多于已宣布的 Grok 4.6（2T），但 Kimi K3 自己也承认与 Claude Fable 5、GPT-5.6 Sol 等顶尖闭源模型仍有差距。正式对比需等 Grok 4.6 上线后的实测数据。