
【导语:Kimi K3开源后成为全球参数规模最大的开源模型,放大了中国模型厂商在开源社区生态的优势。其性能提升显著,引发业界关注,同时也冲击着闭源模型厂商的定价权,不过模型研发也面临着算力紧缺等困境。】

Kimi K3开源后,业界迎来首个完整开放权重的3T级别模型,也是目前全球参数规模最大的开源模型。相比Kimi K2,K3的总参数量增长了167%,激活参数增长220%,上下文长度由128K扩展至1M,提升了8倍。虽然K3整体表现仍落后于最强的闭源模型Claude Fable 5和GPT - 5.6 Sol,但在整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。

K3能把参数量堆到2.8万亿,并实现2.5倍的扩展效率提升,核心在于对传统Transformer架构进行了KDA和Attention Residuals两项底层优化。KDA能把不断增长的KV Cache压进固定大小矩阵状态,Attention Residuals能够有效减少模型训练中的信息衰减和梯度消失问题,保持信息流的顺畅。同时,还利用Stable LatentMoE、MoonEP、FlashKDA等技术,对推理计算成本、通信能力以及计算效率等方面均进行了大幅优化。

登陆Hugging Face后,K3在30分钟内以超过4000个赞登顶趋势榜,其增长速度获Hugging Face CEO称赞,也得到OpenAI总裁和马斯克的认可。K3开源更直接的冲击在于商业层面,结合更低的价格与逐渐缩小的模型差距,中国开源模型从根本上影响了OpenAI和Anthropic等闭源模型厂商对API定价权的主导。

中国模型厂商已经在陆续跟进2T参数以上模型研发,阿里发布了Qwen3.8 Max预览版,MiniMax正在研发“M3 Pro”,两款模型据悉都上线即开源。百度文心5.0虽为2.4T参数模型,但采用超稀疏混合专家架构,激活参数比例小,且是闭源模型,在影响力上不及开源模型。

对于更大规模参数模型的追赶,厂商面临算力紧缺的困境。单部署K3便需要一台8卡B300服务器,训练更需要顶级AI显卡的万卡级别集群。创业公司在算力购买能力上滞后,云厂商也面临客户订单交付延迟的问题。即便如此,在全球模型开源趋势下,厂商推进更优模型并开源的目标仍很紧迫。
编辑观点:Kimi K3的开源是AI大模型领域的重要进展,中国模型厂商在开源生态优势渐显。但算力难题待解,开源虽成趋势,企业突破与生存仍充满挑战。
200



被折叠的 条评论
为什么被折叠?



