
【导语:Kimi K3开源后成为全球参数规模最大的开源模型,放大了中国模型厂商在开源社区生态的优势。它虽整体落后于最强闭源模型,但表现出色,且在商业层面冲击了闭源模型厂商的API定价权。不过,模型厂商在追赶更大规模参数模型时面临算力紧缺等困境。】

Kimi K3开源后,业界迎来首个完整开放权重的3T级别模型,也是目前全球参数规模最大的开源模型。过去三年,中国模型厂商在开源社区生态占据优势,K3进一步放大了这一效应。虽然K3整体表现落后于Claude Fable 5和GPT - 5.6 Sol,但在评测中展现出前沿水平,且稳定超过其他所有模型。
相比Kimi K2,K3的总参数量增长了167%,激活参数增长220%,上下文长度由128K扩展至1M,提升了8倍。理论上,其计算复杂度按平方数级别增长。

K3能把参数量堆到2.8万亿,并实现2.5倍的扩展效率提升,核心在于对传统Transformer架构进行了KDA和Attention Residuals两项底层优化。KDA能把不断增长的KV Cache压进固定大小矩阵状态,Attention Residuals能有效减少模型训练中的信息衰减和梯度消失问题,保持信息流的顺畅。
同时,K3利用Stable LatentMoE、MoonEP、FlashKDA等技术,对推理计算成本、通信能力以及计算效率等方面均进行了大幅优化。

登陆Hugging Face后,K3在30分钟内以超过4000个赞登顶趋势榜,Hugging Face CEO称这是最快的发布增长速度。OpenAI总裁认为K3具有竞争力,还透露中国在模型开发方面与美国的差距可能仅剩4个月左右,马斯克也称赞K3架构底层的论文研究。
在商业层面,K3开源结合更低的价格与逐渐缩小的模型差距,从根本上影响了OpenAI和Anthropic等闭源模型厂商对API定价权的主导。

中国模型厂商已在跟进2T参数以上模型研发,如阿里的Qwen3.8 Max预览版、MiniMax的“M3 Pro”,且都上线即开源。但百度的文心5.0虽参数达2.4T,却因采用超稀疏混合专家架构、激活参数比例小,且是闭源模型,未激起太大讨论声量。
对于更大规模参数模型的追赶,厂商面临算力紧缺的困境。K3部署需要一台8卡B300服务器,训练更需要顶级AI显卡的万卡级别集群。创业公司在算力购买能力上滞后,云厂商也面临客户订单交付延迟的问题。
编辑观点:Kimi K3开源意义重大,展现了中国模型厂商的实力。但模型厂商在追求更大规模参数模型时,算力等难题亟待解决。全球模型开源趋势虽好,但企业也需在技术与成本间找到平衡。



被折叠的 条评论
为什么被折叠?



