在2024至2025年的中国人工智能发展进程中，线性注意力技术无疑是行业关注的焦点。当阿里、Minimax等企业纷纷投身万亿参数模型研发时，都不可避免地遭遇了算力瓶颈这一严峻挑战。传统全注意力机制的计算复杂度，在算力资源有限的情况下，几乎成为了一种"资源消耗巨大"的方式——序列长度每增加一倍，计算量和显存需求就会呈现四倍增长的态势。
项目地址: https://ai.gitcode.com/MoonshotAI/Kimi-Linear-48B-A3B-Instruct 线性注意力技术以其O(N)的计算复杂度和恒定的推理内存占用，为解决这一难题带来了曙光。中国的AI工程师们在这条充满希望的道路上不懈探索，期望在算力受限的困境中开辟出一条通向通用人工智能（AGI）的全新路径。然而，这条道路并非一帆风顺。作为线性注意力技术的坚定探索者之一，Minimax在其最新模型中却转向了混合架构，这一转变引发了行业对线性注意力技术的广泛质疑：它难道终究只是全注意力机制的"替代方案"吗？
这种技术路线的转向，暴露出线性注意力技术从其"精神祖先"循环神经网络（RNN）那里继承的固有缺陷——有限的状态容量以及由此导致的长程检索能力不足。就在线性注意力技术即将被行业质疑其前景之际，Kimi团队发布了Kimi Linear技术报告，声称他们找到了解决这一技术难题的关键方法。这篇具有里程碑意义的论文，或许标志着线性注意力技术作为"替代方案"的时代已经落幕，而其超越传统技术的新时代即将开启。
线性注意力：源于RNN的技术困局
要深入理解Kimi团队的技术突破，我们首先必须直面线性注意力技术面临的核心问题。当全注意力机制处理100万个Token时，会将所有词汇信息全部展开，使得每个新词都能"看见"之前的所有词汇。但这种处理方式的代价是惊人的——100万乘以100万，即1万亿次的计算量，以及随之而来的巨大键值（KV）缓存需求。
线性注意力技术的核心目标，是将全注意力机制中存储所有历史信息的N×N巨大矩阵，压缩成一个小巧且可持续更新的"记忆胶囊"。它通过维护一个固定大小的状态向量（例如128维），在每输入一个新词时对该状态进行更新——写入新信息的同时，部分保留旧信息并遗忘另一部分。无论序列长度如何增长，系统只需存储这个固定大小的状态向量，从而将计算量降至O(N)级别，内存占用也保持恒定。
这就好比一位速记员手持一个固定大小的笔记本，每次更新记录时都必须擦掉部分旧内容以腾出空间。与RNN相比，线性注意力技术的优势在于其状态更新机制更为复杂（包含Query/Key/Value三种值），理论上能够携带更丰富的信息。但本质上，它仍然是通过"有损压缩"的方式来换取计算效率的提升。
这种"有损压缩"带来的核心问题是精确检索的困难。当需要从100万个Token中精确找回第3万个位置的某个关键信息时，经过97万次压缩更新的状态向量，已经很难提供准确的答案了。Kimi团队在其论文中设置了几个经典的"关键性"测试任务：回文复制（要求精确逆序输出）、多查询关联回忆（散布的键值对检索）以及栈状态追踪（64个独立栈的PUSH/POP操作）。测试结果显示，传统的线性注意力方法在这些任务上表现几乎完全失败，精度接近随机猜测。即便是改进版的Gated DeltaNet（GDN），虽然性能有所提升，但收敛速度缓慢，最终精度也未能达到理想水平。当模型无法在长距离序列上精确回忆关键信息时，其在长文本问答、代码生成等严肃任务中的表现自然会大打折扣。这正是线性注意力技术一直被视为"替代方案"的根本原因。
如上图所示，图片展示了Kimi Linear技术报告的标题页核心内容。这一技术报告充分体现了Kimi团队在突破线性注意力技术瓶颈方面的重大成果，为AI领域的研究人员和工程师提供了一种全新的高效注意力机制解决方案，具有重要的学术价值和工程指导意义。
精细化遗忘机制：线性注意力的创新方案
既然问题的根源在于记忆机制的缺陷，那么解决之道也必须从记忆机制入手。在深入探讨Kimi团队的创新方案之前，我们需要先了解Delta规则（Delta Rule）的重要意义。
最早的线性注意力机制本质上就是一个简单的累加器——每输入一个新的键值对，就直接累加到状态中。这种机制没有遗忘功能，也缺乏纠错能力，只是无限堆积信息，导致旧信息与新信息混杂在一起，难以分辨。2023年，DeltaNet技术带来了一项重要革新，它将状态更新过程视为在线梯度下降过程。具体而言，DeltaNet为"笔记本"设定了一个新目标：当前状态乘以当前的键（key），应当能够准确重构出当前的值（value）。如果重构结果不准确，就通过一次梯度下降更新对状态进行纠错。这一更新规则正是经典的Delta规则（Householder变换），它使线性注意力机制从"只会记忆的笔记本"进化为"会学习和纠错的智能助手"。
然而，尽管DeltaNet实现了学习和纠错功能，但它仍然缺乏有效的遗忘机制。所有旧信息都会被无限期保留，在长序列处理中依然会导致严重的信息干扰。2024年，英伟达提出的Gated DeltaNet（GDN）为此引入了遗忘门控机制，通过一个标量αt（取值范围0到1之间）让模型能够动态决定保留多少旧信息、遗忘多少新信息。这标志着线性注意力技术从简单累加，到学习纠错，再到选择性学习的逐步进化路径，而Delta规则正是这一进化过程中的关键转折点。Kimi团队提出的KDA（Kimi Delta Attention）注意力机制，则是在这一基础上实现的最后一次，也是最为关键的一次技术跃迁。
GDN虽然引入了遗忘机制，但这种遗忘是粗放式的——一个标量值作用于整个状态矩阵，相当于对所有特征通道进行统一的"打折"处理。这就好比一位速记员在每次更新笔记时，都对所有内容统一进行"淡化30%"的处理。如果模型需要精确记住某个关键实体，同时忘掉一个无关紧要的语气词，这种粗糙的处理方式根本无法满足需求。关键信息会在一次又一次"全局遗忘30%"的过程中逐渐模糊，最终与不重要的信息混杂在一起，难以区分。
Kimi团队的创新解决方案是：既然"一刀切"的全局遗忘机制行不通，那就为每个特征通道配备一个独立的"遗忘开关"。这正是Kimi Linear架构的核心——KDA注意力机制。它彻底抛弃了"全局遗忘30%"的粗放式命令，在注意力头中引入了"通道级别"的细粒度门控机制。KDA相当于为速记员配备了一个由128个独立开关组成的精细控制面板。当模型处理信息时，它可以动态地、通过学习来决定笔记本中哪些行（通道）的内容负责记忆重要的实体词，不能遗忘；哪些行负责理解上下文语义，需要少遗忘一些；哪些部分仅用于语气词、语法框架等辅助信息，可以完全遗忘。
这种从粗放遗忘到精细遗忘的转变，使得模型能够在有限的内存空间中记住更多有用的信息。实际效果立竿见影：在前面提到的"关键性"测试任务中，KDA在2048长度的回文任务上达到了近100%的精度，而GDN仅约60%，Mamba2则完全失败。更重要的是，KDA的收敛速度远快于GDN。然而，Kimi团队的野心不止于此——如果KDA虽然缓解了记忆问题，但性能仍无法与全注意力机制相比，那它依然只是一种替代方案。而Kimi团队的目标是实现对传统技术的全面超越。
创新混合架构：效率与性能的完美融合
为了实现这一宏伟目标，Kimi团队设计了一种全新的混合架构，将KDA的技术优势发挥到了极致。Kimi Linear并未完全抛弃全注意力机制，而是采用了3:1的混合比例——每3层高效的KDA线性层，穿插1层MLA（Multi-Head Attention）全局注意力层。这一黄金比例是Kimi团队通过大量消融实验确定的，它在模型质量和吞吐量之间实现了最佳平衡。
这一架构选择并非妥协，而是对技术理论限制的清醒认识。论文明确指出：长上下文精确检索仍然是纯线性注意力机制的主要瓶颈。在这种混合架构中，KDA负责高效处理时序信息、压缩上下文，并承担主要的计算负载。仅这一项技术，就可以节省75%的KV缓存空间。而传统的全局注意力MLA层则扮演"信息巡查员"的角色，负责捡回那些KDA压缩过程中可能丢失的、最精细的全局信息检索。在这一架构中，KDA和MLA并非主次关系，而是分工协作的平等伙伴，两者的有机结合，才能实现效率和性能上对纯全注意力机制的同时超越。
与此同时，为了实现更极限的压缩效率，Kimi团队甚至对自家研究员苏剑林开发的、具有深远影响的RoPE（旋转位置编码）技术进行了大胆革新。这种混合架构采用了NoPE（No Position Encoding），即完全取消位置编码的形式。传统的Transformer模型对序列顺序并不敏感——即使打乱输入顺序，输出结果依然不变。因此，我们需要RoPE这样的位置编码机制来告诉模型"第100个词在第50个词之后"。
Kimi团队通过研究发现，KDA本身就可以作为一种有效的位置编码机制。KDA采用的门控三角法则和通道级遗忘机制，使其天然具备了位置编码的功能。在处理信息时，KDA对序列的顺序和远近具有天生的敏感度，其通道级的多样性甚至比RoPE更加灵活。既然KDA已经能够出色地处理位置信息，那么穿插其中的MLA层就完全不需要任何位置编码（RoPE）了。
这种NoPE设计不仅简化了模型结构，还成功解决了长上下文外推的难题。传统RoPE在处理比训练时更长的文本时，需要采用复杂的频率调整方法（如YaRN），而NoPE则完全没有这方面的困扰。由于KDA的位置编码是通过Delta规则动态学习的，它可以自然地外推到更长的序列——只需继续按照相同的规则更新状态即可。这一发现有力地证明了线性注意力机制可以内在地、自适应地学习位置信息，为解决长序列处理问题提供了全新思路。
全面超越全注意力：Kimi Linear的性能突破
Kimi Linear技术报告摘要的第一句话就掷地有声："线性注意力，第一次在公平比赛中性能超越了其他所有注意力机制"。这一"首次"的含金量在于，它并非在某个特定场景下的局部超越，而是在严格公平的对比条件下（相同参数量、相同训练数据量1.4T），在所有评估维度上实现的全面领先。
在传统的短上下文任务评估中，Kimi Linear在14项任务中的13项取得了最佳成绩。在长上下文处理方面，特别是在100万Token上下文的RULER测试中，最终版的Kimi Linear达到了94.8分的高分——这在如此长的上下文处理任务中是极为罕见的优异表现。最令人意外的是，Kimi Linear在强化学习（RL）训练阶段的表现同样出色：在相同的RL训练设置下，Kimi Linear展现出显著更快的收敛速度和更高的最终性能。一种可能的解释是，KDA的细粒度状态管理机制，天然适合解决强化学习中的信用分配（credit assignment）问题。
在效率方面，Kimi Linear更是实现了对传统全注意力机制的显著提升：计算复杂度降低75%，内存占用减少75%；在处理100万Token长上下文解码时，Kimi Linear的吞吐量（速度）是全注意力机制的6.3倍。Kimi团队还进行了缩放定律（Scaling Law）实验，训练了5个不同规模的模型（激活参数从653M到1.7B不等）。实验结果显示，Kimi Linear的Scaling Law曲线比MLA（Multi-Head Attention）更陡峭，在相同的FLOPs预算下能够达到更低的损失，计算效率提升约1.16倍。
Kimi Linear技术报告以确凿的实验数据证明，线性注意力技术不再是一种"替代方案"。在KDA细粒度门控机制的加持下，配合精妙的混合架构设计，它已经成为一种在性能和效率上双重超越全注意力机制的全新技术范式。
范式革新的代价：工程实现的严峻挑战
既然Kimi Linear性能如此卓越，那么各大科技公司是否可以立即全面切换到这一新技术呢？答案并非如此简单，因为KDA技术面临着"极高难度"的工程实现难度——即使是切换到这一技术，也需要付出巨大的努力。
KDA最大的理论优势（通道级门控机制），在工程实现中却带来了最大的挑战：数值稳定性问题。KDA的数学公式涉及大量的累积乘法和（隐式的）除法运算。当在GPU上使用半精度浮点数（FP16/BF16）以追求极致速度时，这些运算会变得极不稳定——一个数字除以一个接近零的数，计算结果就会变成NaN（非数字），导致整个训练过程瞬间崩溃。
此前的研究（如GLA）为了规避这一问题，被迫在对数域中进行计算，并使用更慢的全精度（FP32）浮点数。但这种处理方式无法充分利用现代GPU专为半精度设计的张量核心（Tensor Cores），导致速度大打折扣。因此，Kimi Linear的论文用了大量篇幅解释KDA的DPLR（对角加低秩）变体。简单来说，Kimi团队通过将两个关键变量都绑定到k值上，在数学层面将除法运算转化为乘法运算，从而解决了数值稳定性问题。
但这种全新的算法意味着，无法通过PyTorch或TensorFlow等标准库的pip install命令来简单实现——要使用KDA，必须手写定制化的GPU核心，无法依赖标准库。这还不是全部挑战——KDA这种"RNN-Transformer混合体"，在训练过程和推理过程中需要切换不同的模式：训练时采用"分块并行"（Chunkwise-Parallel）模式，以便像Transformer一样利用GPU的并行性，一次性处理海量数据；而在推理时，则必须切换到"循环"（Recurrent）模式，以实现KDA带来的恒定内存占用，享受RNN的极致推理效率。
要构建一个能够让这两种截然不同的计算核心（Kernel）无缝协同工作的系统（例如在vLLM这样的框架中集成），其工程复杂度同样极高。同时，KDA引入了许多新的超参数，这些超参数之间存在复杂的相互作用，需要通过大量实验才能找到最优配置。论文中提到，他们的Scaling Law还有进一步优化的空间，这意味着即使是Kimi团队自己，也尚未完全"发挥出"KDA的技术潜力。
范式革命虽然前景美好，但代价也同样不菲。然而，在GPU等硬件资源受到限制的时代，购买顶级硬件设备是一个几乎无解的难题，而Kimi Linear所代表的新范式，其成本是有限的——它需要的是顶尖的工程人才、充足的时间投入以及深厚的算法功底。这些资源虽然稀缺，但并非无法解决。更重要的是，Kimi团队已经开源了KDA的Kernel实现和vLLM集成方案，这无疑降低了后来者的技术门槛。
这不仅仅是对线性注意力技术的"创新突破"，在2025年这个特殊的时间节点，这更可能是Kimi团队为整个AI行业指出的一条全新道路——用"软件的确定性"去应对"硬件的不确定性"。比起难以获得的顶级GPU，通过代码优化"创造"出6.3倍的效率提升，这笔"投资"的收益显然更为可观。线性注意力技术作为"替代方案"的时代已经结束，其超越传统技术的新时代正式开启。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
