网心技术 | 压缩即智能：Kimi K3 浅析

基石

参考香农在他的《通信的一种数学理论》（A Mathematical Theory of Communication）中分析熵的角度来看待 Transformer 的核心 Attention，这个机制会变得很朴素：给定一个 query，要对一排 key 分配总质量为 1 的权重，再去加权 value。若这套分配要光滑、公平、且在独立竞争下不引入额外偏见，最终形式除了 Softmax 之外，还能不能换成别的？

把打分记成 zᵢ，要找一组权重 pᵢ：每项非负，且全部加起来等于 1（一份质量分完）。同时满足以下 3 条要求：

1. 连续光滑：打分微扰，权重不该跳变；梯度训练才站得住。

2. 对称：同等打分得到同等质量；标签置换不改变结果。

3. 中性竞争 / 最大熵：在固定「平均打分」或期望效用的约束下，不偷偷假定某种噪声结构；等价地，独立阶段的不确定性应当可加。

在这些约束下，在「非负且求和为 1」的权重里做最大熵变分

正如 Shannon 1948 年证明：若度量要满足连续性、事件等概率时取极大、以及独立实验的不确定性可加这三条约束，函数形式只能是：

注意力权重的唯一解是 Softmax，不确定性度量的唯一解是对数熵。

信息量还有更直白的说法：越不可能的事，惊奇越大：

语言模型估的是条件熵：

训练损失下降，等于压缩比上升。智能在这里是可测的压缩性能，外加把压缩结构迁到新任务上的能力。

压缩即智能不是口号。人类真正用得上的知识，往往住在「起个名字就能省掉一大段废话」的区域里。十进制用几个数位符号换指数级表达力；数学里一个定义、一条引理，也能把原始符号串压短几个数量级。

写代码也一样：函数名，模块边界，类型。名字选得好，读的人容易理解；名字选得烂，或者根本起不出名字，就只能在原始细节里痛苦的摸爬滚打。

Freedman 等人在(arXiv:2603.20396)把这类现象做成可检验模型：

全部合法演绎的空间膨胀很快，人类愿意命名、愿意传承的那一层却像增长更慢的薄壳。Lean 数学库上的依赖深度与展开长度，整体更像「好定义很值钱」的世界，而不像「几乎要囤积海量宏才换一点扩张」的世界。

自动定理搜索若有方向感，也该往压缩比高的区域走，而不是在不可约的穷举海里瞎转。LLM 预训练，是在人类文本这层薄壳上做条件压缩；损失曲线是在问模型有没有摸到可压缩结构。分布式假说从词向量到 Transformer 一以贯之：共现统计里已经嵌着可被压缩的语义几何。

于是两条线在 Transformer 里会合：对外，交叉熵损失在努力逼近数据分布的熵率；对内，Attention 用 Softmax 将杂乱的关联梳理为清晰的权重。

后文会看到：当序列长度 n 大到付不起 Softmax 的二次代价时，工程上会对 eˣ 做泰勒展开，换成可结合的线性形式。K3 的 KDA + MLA，正是这条折中在 2.8T 上的落地。

时代背景：Transformer 仍是主赛道，RSI 加速演进

过去几年，「下一代架构是否取代 Transformer」几乎是固定节目。Mamba、RWKV、各类线性注意力轮番登场。

单目前看到的是 frontier lab 的主路径仍然是：在 Transformer 骨架上改信息流，用 scaling、post-training、harness 把能力推上去。Karpathy 用 autoresearch 把单卡小模型训练交给 agent 自动跑实验，然后去 Anthropic 领导一个 RSI 的项目。Lilian Weng 离开 Thinking Machine 回到 OpenAI 后也领衔 RSI 相关方向。

以上都传递一个清晰的信号，至少未来一段时间，比如三年内，Transformer 及其变体仍有巨大空间。真正会加速演进的，是递归自我改进闭环。

Lilian Weng 2026 年两篇 Blog，对本题最有用的判断可以压成两句。Scaling laws 仍是规划算力的核心框架，但其外推结论高度敏感于工程细节：参数计数方式（是否计入 embedding）、损失拟合形式、数据重复次数等都会显著改变外推结果；至于「数据墙」，在最新的经验模型中已被量化为显式的过拟合惩罚项。

RSI 的近期形态，确实更像改进 harness：即工作流自动化、工具调用、上下文管理、记忆、评测与权限控制——而不是模型直接改写自身权重；而 harness 本质上是代码，LLM 优化 harness 等价于在更大的设计空间中自我改进。但评测指标一旦存在缺陷，reward hacking 就会让自我改进循环退化为“刷分”而非真正的能力提升。

梁文锋 2026 年 5 月投资者交流的实录，给出了中国语境下的硬约束。数据几乎等于模型的一半。美国与中国在高端标注上没有成本优势。瓶颈是时间，不是资金。国内高质量数据标注大约落后半年，预期一年内可追。一半核心研究员在做标注。这不是「数据脏活」，是后训练时代的主战场。国产芯片生态，他给出大约一年的「能用」验证窗口。产能约束仍会持续数年。

中美算力与供应链对抗，把开源变成战略工具。GLM 5.2、DeepSeek V4、Kimi K3 相继把接近或超越万亿的权重推到公开生态。K3 是其中参数最夸张的一员：2.8T 总参数、约 104B 激活、原生视觉、1M 上下文。官方称相对 K2 整体 scaling efficiency 约 2.5 倍，且完整开放权重。

模型实验室仍会集中精力提升 LLM 能力本身。新架构的全面换代还需要时间。在这个前提下，问题变成：

在中国算力受限时，Kimi 是怎样训出这样一个庞然大物？答案拆成四块：架构、为何 KDA/MoE 可落地、数据与训练 infra、推理经济性。

再补一层时间线感。K2 把 Muon 与万亿 MoE 推到生产。K2.5 把原生多模态与 agent swarm 做进产品。K3 在同一条产品线上做「三轴同时动刀」：上下文到 1M，专家到 896，深度残差改 AttnRes，后训练到九专家 MOPD。

它们不是孤立的部分，是 Moonshot 两年工程复利的一次兑现。市场认可的是能力曲线。技术上更值得看的是：能力曲线背后，每一分算力被怎样换成模型性能。

Kimi K3 架构全景：三个维度的信息流重构

K3 tech report 的组织方式本身就是设计哲学。Transformer 沿三个轴搬动信息：序列长度、网络深度、模型宽度。每一轴各有瓶颈。K3 各换一块组件。

轴	K2	K3	解决什么
序列	全 MLA	3×KDA + 1×Gated MLA 循环	1M 上下文的算力与显存瓶颈
深度	标准残差累加	Block Attention Residuals	深层只看到压缩后的历史
宽度	DeepSeekMoE，384 experts	Stable LatentMoE，896/16	专家特化空间 vs 通信与稳定性

Kimi K3 规格摘要：93 层（69 KDA + 24 Gated MLA）、hidden size 7168、96 heads、Latent MoE dim 3584、每 expert FFN 3072、896 routed + 2 shared、每 token 选 16个专家、词表 160K、上下文 2²⁰、激活函数 SiTU-GLU、视觉 MoonViT-V2（401M）、MXFP4 权重 / MXFP8 激活的 QAT。

相对 K2：总参 1.04T 到 2.78T，激活 32.6B 到 104.2B，experts 384 到 896，active experts/token 8 到 16，训练上下文 128K 到 1M。稀疏度 896/16=56。

读规格时有一个常见误读：把总参当成「每次前向都要算的量」。MoE 时代，账单应拆成两列。总参列写容量与显存占用。激活列写延迟与算力。K3 用第二列保持可服务，用第一列买特化空间。AttnRes 与 KDA 不在参数计数里，却决定长上下文与深层信息是否可送达。看 K3，要三列一起看：参数、激活、状态（KV / 递归记忆 / 残差源）。

3.1 序列：Kimi Delta Attention

KDA 来自 Kimi Linear(arXiv:2510.26692)：delta-rule 递归 + 通道级遗忘门。状态为： 

 固定大小，更新形如：

其中，逐通道保留因子：

 写入强度为：

q/k/v 先经 ShortConv 与 Swish，q、k 再 L2 归一化。KV cache 不再随序列线性膨胀。这是 1M 上下文「物理上付得起」的根。

为何 q、k 要 L2 归一化，第四章用泰勒展开会说清楚：一阶近似  eˣ ≈ 1+x 需要 x 落在可保证非负的区间，归一化是廉价的护栏。

KDA 公式本身已经是「可结合的状态机」形态；骨干网络再按 3:1 交错三层 KDA 与一层 Gated MLA，末尾再保一层全局注意力。KDA 维护廉价的长期状态。MLA 周期性用真正的 Softmax 做精确全局检索。Kimi Linear 可以完成 KV 压缩约 75%、1M 长上下文解码TPOT提升最高约 6.3 倍。

K3 对 decay 参数化做了「看起来很小、工程上很大」的改动。把无界映射

换成有下界的 scaled-sigmoid：

于是 α = eᵍ ≥ e⁻⁵ ≈ 6.7 × 10⁻³。chunk 内 tile 的下累积衰减落在 BF16 动态范围内。对角与非对角 tile 都能走 Tensor Core 密集 matmul，不再需要为数值单独开 fp32 / 位置对路径。

算法没变，只收紧了一个自由参数的值域。这是算法与系统协同设计的教科书案例：凡是内核里出现「为了数值而特判」的分支，先问值域是否本来就可以收窄。

位置编码采用 NoPE：MLA 层不加 RoPE。位置敏感性由 KDA 的递归与衰减隐式提供。MLA 负责与位置无关的全局内容交互。扩展到 1M 时不必改 RoPE base，不必 YaRN 插值。训练时 flash attention 输出保留 FP32，并重排 on-chip tile，把额外输出占用与 KV staging 重叠，换更高吞吐。

3.2 深度：Attention Residuals

标准残差把所有前序计算累进单一向量 hₗ 。层一深，早期细节被揉成糊。AttnRes 换了一种问法：每一层用可学习的伪 query，在「embedding + 前序层输出」里做 Softmax 检索，自己决定读哪一段历史。键侧 RMSNorm，避免某一层幅度过大抢走全部质量。这与第一章同一逻辑：深度轴上也是一份质量的竞争，精确处仍用 Softmax。

全量保存每层输出太贵。K3 切成约 8 个 block，块内先汇总，块间再注意力，内存从跟层数线性涨，变成跟块数涨。深度不到一百时，这块额外算术仍可承受。推理可用 online softmax 合并块间结果。目的很具体：后期层不必只读一条越来越糊的累加流。

3.3 宽度：Stable LatentMoE

先把 MoE 说透。Dense FFN 可以想成：隐层里有很多「方向」，每个 token 都跟这些方向做一遍线性/非线性运算，再加总。全参数都参与。对单个 token，很多方向的贡献其实很小。若能先知道「谁大谁小」，只算最大的 k 个，就能用更少算力逼近全量求和。

苏剑林在《MoE环游记：1、从几何意义出发》里把这条线写清楚了：把每个专家拆成「廉价可预测的重要性（模长）」和「昂贵的方向」；Router 先打分，挑 Top-k再展开方向。MoE 因此不是玄学稀疏，是 Dense FFN 的有理论动机的逼近，用大参数池买容量，用小激活算力买效率。

K3 把池子推到 896、每 token 激活 16，是同一逼近在更大 n、仍可控 k 上的工程版。专家变多，通信与负载先炸。

LatentMoE 的账单解法是：特化专家在半宽潜空间里干活（3584），共性变换留给 2 个全宽 shared expert。896 选 16 的稀疏度才付得起。逼近要站得住，每个专家还必须真被练到：负载不均等于有的方向永远学不会，全量加总的逼近就塌了。这直接接到第五节的 Quantile Balancing。

稀疏一极端，训练病症也极端。routed 路径上：

这尺度容易爆，于是聚合后、上投影前加 RMSNorm。SwiGLU 无界，低精度下冒尖，于是 SiTU-GLU 用平滑 softcap 把输出按住，原点附近仍像 SwiGLU。路由若靠固定步长「谁闲就加 bias」，近千专家时又慢又抖，于是 QB 用分位数直接对准目标负载（见第五节）。三件事对应三个问题：炸、溢出、不均。

视觉塔 MoonViT-V2（约 401M）从零跟语言目标一起训。对比学习初始化在联合优化里梯度尖刺难消；从零训在视觉评测上够用，且与 next-token 对齐。图文视频共享参数，时空分解 + pixel-shuffle 压 token，大图才塞得进 1M 上下文。「写代码、看渲染、再改」需要同一上下文，原生多模态是前提，不是装饰。

3.4 为什么是这四块：KDA + MLA + AttnRes + Stable LatentMoE

四块不是四件独立炫技，是同一压缩直觉在三轴上的配套。

组件	轴	一句话
KDA	序列	Softmax 二次太贵；泰勒可结合化 + delta 改写固定状态
Gated MLA	序列校对	线性有损，周期性用真 Softmax 做全局核对
AttnRes	深度	累加残差糊掉早期层；深度轴上也做一份质量的 Softmax 检索
Stable LatentMoE	宽度	Dense FFN 全算浪费；Top-k 逼近 + 半宽降通信

序列上，KDA 把 KV 档案收成固定状态，MLA 防止摘要丢细节。深度上，AttnRes 让后期层选择读哪段历史，而不是只读一条越来越糊的累加流。宽度上，MoE 用稀疏逼近换参数池，Latent 与 QB 让 896 专家付得起、练得动。

官方约 2.5 倍 scaling efficiency，是这四刀与数据、优化器、日程一起砍的。分账未知，方向清楚：凡是随规模膨胀的状态，都先问能否固定大小、选择性读取、或半宽特化。

KDA 为什么可行：从 Softmax 的泰勒展开说起

第一章钉死了：单位质量竞争下，精确形式是 Softmax，不可随便拆

麻烦也在这里。有了逐位置的 Softmax，就必须先形成 n × n 的打分矩阵，再加权 V，序列长度 n，训练与预填大致复杂度 O(n²)。上下文拉到百万级，KV 与算力一起炸。

线性注意力走的是「先近似、再结合律」：对指数做一阶泰勒，

若再对 q,k 做 L2 归一化，可使 1 + qᵀk ≥ 0，得到可分解的相似度核。于是  ∑ⱼ sim(q, kⱼ)vⱼ 能改写成先聚 k,v 成固定大小状态、再与 q 作用，复杂度近似 O(n)。这是「线性」二字的来历：不是否定 Softmax，是把 Softmax 里最贵的指数，换成一阶可结合的替代品。

朴素累加 Sₜ = Sₜ₋₁ + vₜkₜᵀ 往往不够。长序列上状态会糊成近平均池化，分不清该改写哪一段记忆。

Delta rule 把更新看成对回归误差的一步修正：先用 (I − βₜkₜkₜᵀ) 抹掉与当前 kₜ 冲突的旧成分，再写入 βₜkₜvₜᵀ 。KDA 在此之上加上通道级保留因子 αₜ，让不同特征维以不同速度遗忘。第一章的 Softmax 负责「一份质量怎么分」；泰勒与 delta 负责「在付不起 O(n²) 时，如何用固定状态逼近同一种竞争」。

所以线性形式是近似，不是替代教义。近似会丢细节。K3 用 3:1 的 KDA : MLA 把账算清楚：多数层付固定状态的代价做高效 mixing；少数层付二次注意力的代价，用真正的 Softmax 全局核对。NoPE 让位置与近因主要落在 KDA 的衰减里，MLA 专心做内容检索。

语言与代码本身高度冗余，长程依赖真实存在，却并非每个历史 token 对每个未来查询同等重要。通道级门控正是在学「哪一维该慢忘、哪一维该快扔」。

相对每头一个标量门的方案，通道级切分把有限递归记忆用得更细。Kimi Linear 已开源较小研究权重与 FlashKDA；K3 把同一思想推到 2.8T。证明的是：在 frontier 尺度上，Softmax 精确层 + 泰勒系线性层可以成为默认骨架，而不是另起炉灶的新物种。

硬件侧，二次注意力的算力与显存在长上下文下陡增。线性路径把单层解码状态从随 n 增长压到近乎常数，直接减压 HBM 与跨卡通信。decay 值域再收进 Tensor Core 友好区间，理论近似才变成可卖的吞吐。可行，是因为冗余允许有损、混合布局周期性校准、内核把数值路径堵死。

MoE 的工程挑战与 Quantile Balancing

第三章把 MoE 说成 Dense FFN 的 Top-k 逼近。逼近要成真，896 专家、每 token 激活 16，还得跨过「通信 / 负载 / 死专家」这道钢丝。DeepSeek 路线已推广 auxiliary-loss-free 路由：对 Top-k 选择加 expert bias bⱼ，不把 b 写进混合权重，从而调节分发而不扭曲梯度目标：

旧式固定步长符号更新 bⱼ ← bⱼ + γ·sign(ℓ̄ − ℓj) 在近千专家时难调。γ 小则跟不上，大则振荡。负载不均拖慢 expert-parallel。部分专家欠训。

Quantile Balancing 要解决的是：在固定「每个专家该吃多少 token」的目标下，怎么调路由偏置，让分派尽量匀。做法是看 router 分数的分位数：谁该进 Top-k，用分位阈值直接定 bias，而不是靠拍脑袋的步长去加减。实现步骤：

1. Top-(k+1) 取第 (k+1) 名作为 cutoff αᵢ。

2. 对每个 expert，把 bias 设为使负载等于目标 q=mk/n 的分位：bⱼ ← −quantile₁₋ₖ/ₙ(s·,ⱼ − α)，再减均值居中。

3. 本 step 算出的 bias 下一 step 才生效，避免用同一 batch 的分数自洽作弊。推理时冻结。

全局 batch 可达数百万 margin，不能 gather。K3 用每 expert B=1000 的直方图：各 rank 本地 scatter-add，step 末一次 all-reduce。通信与 m无关。误差约 10⁻³ 量级，观测不到残余失衡。计数可加，故分位是全局 batch 的分位，不是各 rank 分位的平均。旧式符号更新可看成同一目标上的粗糙步进；QB 直接跳到分位解。近 10³ 专家也能在数步内均衡。

苏剑林对 MoE 负载均衡相关理论的分析。从启发式 auxiliary loss，到 loss-free，再到可证明的分位均衡，是一条清晰的工程科学化路径。社区普遍认为，这类工作直接滋养了包括 K3 在内的国内 MoE 工程实践。

训练稳定性的另一刀是 Per-Head Muon。不对整块 Q/K/V 投影做 Newton-Schulz 正交化，而沿 head 维切开，逐头正交化。全矩阵正交化会让梯度 / 动量尺度大的头主导共享更新方向。逐头均衡更新尺度，并略降优化器开销（更瘦的块上做 NS 迭代更便宜）。再叠 SiTU-GLU 的有界激活与 Latent 路径上的 RMSNorm，896 专家才从「纸面稀疏」变成「可训稀疏」。

均衡不仅是质量问题。它是吞吐问题。expert-parallel 下，最慢的 expert 决定一步时间。QB 把「完美均衡」从愿望写成算法，再写成一次整数 all-reduce 的系统预算。

专家池也可以想成「宽度轴上的可复用模块库」。池子太大、路由不均，等于有的模块从没被练到、有的模块过载。QB 强制每个 expert 吃到目标份额，特化才站得住。稀疏 MoE 的智能增益来自特化；特化成立的前提，是每个专家真的被稳定地、足够多地更新。

工程清单可以再列短一点。要让 896 专家在多卡上跑起来，至少同时满足：路由分数可全局统计；bias 更新不污染混合权重；潜空间降低 all-to-all 体积；shared expert 兜住共性变换；激活函数有上界，低精度不爆；优化器不让少数 head 吸血。

K3 的答案分别是直方图分位、loss-free bias、LatentMoE、双 shared、SiTU-GLU、Per-Head Muon。缺一环，稀疏度就从资产变负债。

训练基础设施与数据工程

6.1 预训练：Muon 把算力换成 scaling 空间

在同等算力下多榨出智能，优化器是杠杆。Moonshot 的 Moonlight 报告（arXiv:2502.16982，作者含刘景尧、苏剑林等）表明：给 Muon 加上 weight decay，并仔细校准每参数更新尺度后，可在大规模上开箱即用。

scaling law 实验中，Muon 达到与 AdamW 相当表现大约只需 52% 训练 FLOPs，近 2 倍计算效率。分布式实现强调 memory-optimal 与 communication-efficient。对中国「卡不够」的环境，这不是学术彩蛋，是等效扩容。

K3 在此基础上用 Per-Head Muon + weight clipping，并重新搜索 batch size、学习率、tokens-per-parameter、模型形状。在 cosine 与 WSD 上各自独立跑 scaling law 后选择 cosine。上下文课程：预训练 8K 到 64K，cooldown 256K 到 1M。Expert-parallel 追求 perfectly balanced 分发与内存管理。QB 同时服务质量与吞吐。

量化不是事后压缩。从 SFT 起做 MXFP4 权重 / MXFP8 激活的 QAT。RL rollout 与 serving 使用同一数值体系，避免「训练一套、部署一套」的分布偏移。算法与系统协同还包括 KDA 的 Tensor Core 友好 decay、MLA 输出的 FP32 修正与 tile 重排。

算力账可以粗算。Chinchilla 经验式 C ≈ 6ND。Muon 若把同等 loss 的有效 C 打到约一半，等价于在固定卡时把可训的 ND 抬一倍，或在固定 ND 下省一半机时。K3 再叠加更高稀疏度与更长上下文课程，目标不是「用更多卡堆出更大号 K2」，是「用有限卡换更高单位算力的智能密度」。

这正是中国实验室近两年的主旋律：DeepSeek、Kimi、GLM 各自用不同刀法砍同一根绳子。

6.2 数据：预训练海量，后训练精工

预训练语料覆盖 web、代码、数学、知识，并加上大规模视觉：caption、图文交织、OCR、视频，以及「程序化多模态」。代码与其渲染出的 SVG / 3D / 网页 / CAD 成对出现。管线继承 K2/K2.5，含知识与数学的 rephrasing。语言与视觉从第一个 token 起联合优化，延续 K2.5 的原生多模态路线。

梁文锋指出的国内现实在这里仍然刺耳。高质量标注无成本优势。瓶颈是时间。预训练可以靠清洗、去重、配比与合成撑规模。后训练的边际增益越来越吃人工密度。 K3 的后训练答案是结构化专家策略，而不是单一「更长思维链」。

预训练侧，数据质量通过 pipeline 工程放大：去重（精确与模糊）、质量过滤、样板删除、安全与 PII、benchmark 去污染、按语言与类型重加权。同为 D tokens，互联网泥沙与精洗语料的 compute efficiency 可以差一个数量级。后训练侧，轨迹数据必须带可验证反馈或强 rubric。否则 RL 只会 Goodhart。K3 把不可验证任务交给带强制评分细则的生成式奖励模型，是在承认：真实世界任务不全是单元测试。

6.3 后训练：九个专家，一个模型

流程：先用既往领域特化 Kimi 合成轨迹做 SFT cold start，再进 RL。训练 9 个专家策略，三维领域（general / general agents / coding agents）× 三档推理预算（low / high / max），均在 white-box agentic 环境中。Rollout 用 partial-rollout 与对陈旧轨迹的 per-token 正则。不可验证任务由 Agentic Generative Reward Model 在强制 rubric 协议下打分。按题的 token budget 教每档 effort 自己的算力信封。

九个专家再经 Multi-Teacher On-Policy Distillation（MOPD） 合成单模型。学生自生成 rollout，按任务的领域与 effort 匹配教师，拿 clipped log-ratio 作为 per-token 奖励。这与 DeepSeek-V4 用 on-policy distillation 合并领域专家的模式同族，并多了一条「推理努力」轴与 agentic 环境。Million-token agentic RL 需要持久化 rollout 与 sandbox 状态。infra 与算法再次绑死。

MTP 头再微调成 EAGLE-3 风格 draft，服务 speculative decoding。评测上，max effort 下 K3 整体仍落后 Claude Fable 5 与 GPT-5.6 Sol，优于同测的其他开源与多数闭源。知识类例如 GPQA Diamond 93.5，贴近顶端。研究级推理 CritPt 23.4，相对 GPT-5.6 Sol 的 32.3 仍有缺口。案例研究出现内核优化、MiniTriton 级编译器原型、INT4 推理芯片草案，以及开源项目中的未知漏洞发现。展示的是长程 agentic 执行，而不只是多选题分数。

「九个专家合成一个」呼应了压缩叙事：领域与 effort 是后训练空间里的「定义」。先特化，再蒸馏，等于先展开特化宏，再压回单一可部署对象。用户侧最终只见一个模型，多档 thinking effort。训练侧必须先把能力拆开练透。

推理经济性怎么保证

训练出 2.8T 只是上半场。能卖、能开源部署，靠推理侧把「稀疏与压缩」兑现成账单。

序列轴：KDA 固定状态 vs 增长 KV。上下文越长，相对优势越大。1M 窗口从「论文数字」变成「产品可开」的前提，是多数层不再为每个历史 token 存一份 KV。

宽度轴：总参 2.8T，激活约 104B。routed 路径还在半宽潜空间，实际「干活」的参数量远小于总参。稀疏 MoE 的经济性公式始终是：容量用总参买，延迟用激活买。前提是负载真均衡、通信真可控。QB + LatentMoE + shared experts 就是在守这个前提。

数值轴：QAT 使训练、RL、serving 同位宽，避免事后 PTQ 的质量悬崖，也让软件栈可以按 MXFP4/8 做内核特化。

系统轴：FlashKDA 抬高 prefill。EAGLE-3 式投机解码抬高 decode。expert-parallel 与内存管理决定多卡 serving 能否吃满算力。官方强调的 deployment innovations 与算法同级出现在 tech report 摘要里。对开源 3T 级模型，这不是客套。

一句话：K3 的推理经济性不是靠把模型变小，而是靠把「必须随序列 / 深度 / 宽度膨胀的状态」改成可压缩、可调度、可量化的结构。 serving 只该为真正用到的工作集付钱。

开源部署还有一层生态成本。权重公开后，推理框架、量化内核、expert 并行、投机解码草稿模型，都要能被第三方复现。K3 强调与推理伙伴、开源维护者对齐技术细节。2.8T 若只能在自家集群上跑，开放权重的意义会打折。经济性因此包含「可被社区高效跑起来」这一项。FlashKDA、QAT 同位宽、EAGLE-3 draft，都是在降低第三方接入摩擦。

产品侧还要区分「能算」与「算得起」。1M 上下文若按全注意力计费，单价会把用户吓跑。KDA 让长上下文的边际成本更接近状态更新，而不是历史长度平方。

MoE 让「能力档位」与「激活档位」脱钩：总参决定天花板，激活决定单次请求成本。多档 thinking effort，则是在同一权重上卖不同的 test-time 预算。训练时用九专家把档位练开。推理时用 token budget 与解码策略把档位卖出去。经济闭环从预训练稀疏，贯穿到后训练 effort，再到 serving 计费。

展望：RSI 继续卷，Scale 继续大

从 K2（约 1.04T / 32.6B 激活）到 K3（约 2.78T / 104B 激活），官方宣称约 2.5 倍 scaling efficiency。含义是：同样 FLOPs 换到更低 hold-out loss，或同样 loss 少花大量算力。效率来源是纠缠的：架构（KDA / AttnRes / LatentMoE）、优化器（Muon）、数据配方、训练日程。report 并未精确分账。方向清楚：在 Transformer 范式内继续改信息流，比等待全新架构更划算。

同一时期，开源前沿曾一度收敛在「万亿出头 + 拼 test-time / 长上下文 / agent」的共识附近。DeepSeek V4 约 1.6T 级混合压缩注意力。Kimi K2.5 约 1T 级原生多模态与 Agent Swarm。GLM、MiniMax 也在万亿附近各砍一刀。K3 选择另一条：基座继续做大，同时把长上下文、稀疏宽度、深度信息流、百万 token agentic RL 一次做进同一系统。两条路线并不互斥。未来更可能是「更大基座 × 更强 harness × 更多 test-time」的乘积。

RSI 会加速这条曲线。短期，模型很少直接改自己的权重。更现实的是：agent 改 harness；在可自动打分的子域里高速试错（kernel、调度、小模型消融）；在可验证领域合成轨迹再蒸馏；人上移到品味、约束与高难度标注，机器负责搜索与执行。

Scale 到更大模型仍然成立。「更大」的单位在变：

• 有效算力：Muon 级优化器约等于再挖出接近一倍的训练效率。

• 有效上下文：混合线性注意力让百万 token 从奢侈品变成标配候选。

• 有效宽度：极致稀疏 MoE + 可证明负载均衡，让总参继续涨而激活可控。

• 有效数据：预训练拼海量，后训练拼标注与 agent 轨迹质量。国内补齐高质量数据的窗口。

• 有效芯片：国产算力生态若在一年内验证「能用」，会改变下一轮训练的约束面。不改变「效率优先」的总策略。

开源权重把竞争从「唯分数」拉到「生态 + 可复现 + 可二次后训练」。K3 落后最强闭源是报告自己写明的事实。它同时证明：在受限算力下，把压缩做进架构、把均衡做进路由、把数值做进训练、把 agent RL 做进后训练，仍然可以把开源前沿推到 3T 量级。

KDA 还没免费午餐

线性注意力把长上下文的账单压下来，自身也带来一串尚未消失的问题。社区对 K3 / KDA 的拆解反复提到几条：

• 固定状态有容量上限。

历史被压进每头一块 dₖ × dᵥ 的矩阵。精确拷贝、needle-in-haystack、依赖逐 token 对齐的检索，都会撞上这块天花板。K3 用 3:1 混入 Gated MLA，正是承认：KDA 是逼近，不是全替代。

• 秩与「糊成池化」

Softmax 的指数能把注意力打尖；一阶泰勒核缺少这种尖峰，长序列上权重容易变稠密，输出靠近平均池化。Delta rule 与通道级遗忘是在缓解「写满同一页纸」的干扰，缓解不等于消除。短上下文若过度依赖线性层，也可能付出质量税。

• 实现与生态税

Prefix cache、上下文并行、与标准 flash-attn 软件栈并不通用。官方向 vLLM 贡献 KDA 相关 cache 实现，说明服务侧要另开一条路。训练侧的 context parallelism 也不能像朴素线性注意力那样「各段从零算再相加」，delta 转移依赖入状态，通信与算法都要重做。

• 数值与稳定性

递推衰减一旦靠近极值，chunk 内 rescale 会溢出；K3 的 lower-bounded decay 是在堵这条坑。层数到 93、再叠混合布局，梯度与精度路径仍要比全 Softmax 栈更小心。

这些风险不否定 KDA 在 1M 上下文上的价值。它们划定下一阶段要继续卷的面：更好的混合比、更强的精确检索层、更标准化的推理内核、更干净的长程评测。RSI 与 auto-research 若用在 kernel 与混合比搜索上，会比空谈「换掉 Transformer」更快出结果。

风险也清楚。评测模糊时，RSI 容易刷分。奖励模型可被 hacking。多样性会塌缩到已知高分模式。长程 agent 的「仓库健康」「可维护性」等外部目标，很难塞进沙盒 RL。压缩度量、可验证评测、权限外置，会成为下一轮 infra 的标配，而不是论文附录。

对国内实验室，K3 还传递了一条组织信号：算法、系统、数据、产品必须同一张作战图。Muon 与 QB 出自研究。FlashKDA 与 QAT 出自系统。九专家 MOPD 出自后训练。1M agent 轨迹出自产品与沙盒。单点突破撑不起 2.8T。协同设计才撑得起。

未来三年，Transformer 大概率还在。卷的主战场会是：单位算力的智能密度、单位标注的后训练增益、单位 harness 迭代的 agent 成功率。谁把这三件事做成闭环，谁更接近下一只开源庞然大物。

回到开头。一份质量怎么分，约束钉死后只能是 Softmax；付不起二次代价时，对指数做泰勒，走到线性状态与 delta 改写，KDA 是这条线上的工程加强，仍要 MLA 校对、仍要面对固定状态与生态税。宽度上，Dense FFN 的全量加总被 Top-k MoE 逼近；深度上，AttnRes 把残差也变成可选检索。Kimi K3 把同一压缩直觉落到四块配套上，再加训练与推理同构的低精度。

Transformer 还没到天花板。RSI 会让试错变快。Scale 会换单位，不会停。下一只「庞然大物」大概仍长着 attention 与 MoE 的骨头。骨头里，会嵌进更多经过证明与内核打磨的压缩装置。

参考资料

• C. E. Shannon, *A Mathematical Theory of Communication*, Bell System Technical Journal, 1948. PDF: https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

• V. Aksenov, E. Bodnia, M. H. Freedman, M. Mulligan, *Compression is all you need: Modeling Mathematics*, arXiv:2603.20396. https://arxiv.org/abs/2603.20396

• Kimi Team, *Kimi K3: Open Frontier Intelligence*, arXiv:2607.24653. https://arxiv.org/abs/2607.24653

• MoonshotAI/Kimi-K3 仓库与模型卡. https://github.com/MoonshotAI/Kimi-K3

• J. Liu, J. Su, et al., *Muon is Scalable for LLM Training*, arXiv:2502.16982. https://arxiv.org/abs/2502.16982

• Lilian Weng, *Scaling Laws, Carefully*, Lil'Log, Jun 2026. https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

• Lilian Weng, *Harness Engineering for Self-Improvement*, Lil'Log, Jul 2026. https://lilianweng.github.io/posts/2026-07-04-harness/

• Andrej Karpathy, autoresearch. https://github.com/karpathy/autoresearch

• 梁文锋投资者交流实录相关公开整理（2026 年 5 月；数据标注与算力判断）。

• 苏剑林，《MoE环游记：1、从几何意义出发》，科学空间. https://kexue.fm/archives/10699

• 苏剑林，《MoE环游记：2、不患寡而患不均》；《3、换个思路来分配》，科学空间. https://kexue.fm/archives/10735 ；https://kexue.fm/archives/10757

• 苏剑林，科学空间相关讨论（含 https://kexue.fm/archives/11848 及 MoE 专题检索 https://kexue.fm/search/MoE/ ）。

• Kimi K3 / KDA 架构与风险讨论（微信公众号）. https://mp.weixin.qq.com/s/O7TQLrsY_rD0eJdeIQFBpA

• Andrey Lukyanenko, *Beyond Bigger MoE: How Kimi K3 Scales Context, Depth, and Agents*.