
【导语:2026年7月,张一鸣在字节Seed团队全员会上决定禁止蒸馏任何外部模型。The Information报道称其动机或与TikTok命运有关,但知情人士表示TikTok在决策中权重“几乎为零”,张一鸣此举是为追求模型的真正智能。】

从2025年初到2026年7月,Seed内部至少发生过三次关于蒸馏的激烈争论。2025年1月,DeepSeek - R1发布后,其强大推理能力给Seed带来压力,部分研究员提议引入美国头部闭源模型生成结果,提议被否决。
2025年底到2026年初,英伟达Blackwell系列GPU商用,中国实验室无法获得最强B卡,Seedance 2.0是在性能仅为B200 1/50的H20算力环境中训练出来的。此时“实在不行就蒸馏”的声音再次出现,虽未获最高层支持,但渐成内部共识趋势。
第三次争论被Kimi K3引爆,K3进入全球第一阵营,Seed却无同等产品,蒸馏提议第三次被提出,还有折中方案建议蒸馏开放权重模型,最终张一鸣直接表态禁止蒸馏。

值得注意的是,字节对蒸馏的警惕远早于外部关注。早在2023年,字节大模型团队早期探索阶段,部分工程师曾将GPT API生成的数据用于实验性研究。2023年4月,字节引入GPT API调用规范检查,明确要求不得将GPT生成的数据加入训练数据集,还抽样检测防止标注人员私自使用GPT。

蒸馏本身是一种成熟的训练技术,可让“学生模型”学习“教师模型”以更低成本复现部分能力。但Seed拒绝的不是蒸馏技术,而是不让竞争对手的模型成为“教师”。
张一鸣认为一款模型可通过蒸馏进入前沿,但一家实验室不能靠蒸馏成为前沿实验室。他关心Seed能否为追求最前沿智能做出成就,摸到全球大模型竞争力的天花板。这意味着Seed可能暂时落后,要付出更多成本,但这些目前都是可以接受的。
编辑观点:张一鸣拒绝模型蒸馏展现了长远眼光,虽短期或有落后风险,但为追求真正智能的坚持,有望让字节在大模型领域实现自主突破。
94



被折叠的 条评论
为什么被折叠?



