Meta 研发 LLaMA 4 遇技术断档，创始人模式下如何破局 AI 困境？

Meta 研发 LLaMA 4 陷入被动

在软件研发里，最怕的是把未来的“存粮”一次性吃光。Meta 的 CTO Andrew Bosworth（以下简称 Bos）在最近的 Big Technology Podcast 播客中聊起 LLaMA 4 的被动局面时，复盘了那个无心之失。在交付 LLaMA 3 时，Meta 团队太想打个漂亮仗，把原本预留给下一代版本的路径探索、前沿设想一股脑都提前透支了。结果，LLaMA 3 赢得了满堂彩，却直接导致研发 LLaMA 4 时管道空空如也，在推理（Reasoning）和混合专家模型（MoE）上瞬间落后了别人一个身位。

技术断档下 Meta 的策略转变与内部困境

这次技术断档，逼得马克·扎克伯格（Mark Zuckerberg）改变策略，彻底进入了疯狂抢算力、抢人才的“创始人模式”。大象掉头，内部免不了骨折。为了快速补课，Meta 发起了一次极度紧迫的“战时动员”：数千名非 AI 部门的资深工程师被迫暂停手头的核心项目，一夜之间被抽调去给 AI 标定专家代码数据。这种粗暴的强推在内部引爆了极大的积怨，甚至有员工向媒体抱怨这简直像是在“集中营干苦役”。对于高层沟通的缺失，Bos 没有粉饰，他承认自己在内部被泄露的邮件中把这次管理称为“极其糟糕”（atrocious）。但他坚持认为方向没有错——为了让大模型学会“如何像人类一样正常使用电脑软件”这种基础操作，Meta 甚至开始追踪和收集员工敲击键盘、点击界面的底层交互轨迹，因为在强化学习时代，这种不体面的“脏数据”才是最稀缺的燃料。

AI 研发的现状与趋势

Bos 觉得，这些内部管理的撕扯和阵痛，就像他曾在一篇神经生物学博客里写过的那样——“痛苦即康复”（Pain is rehab），不经历戒断般的剧痛，系统就无法真正重塑。在这场对话中，他聊了聊为什么万能单体大模型已经死了、为什么他固执地拒绝安装家里烤面包机的 App，以及他脑海中那个不需要任何应用商店的眼镜未来。LLaMA 3 提前透支了所有技术路线，给 LLaMA 4 留下了一个空空的管道。研发 LLaMA 3 时，Meta 掏空了所有的技术储备来确保当时版本的成功。这导致研发 LLaMA 4 时面临技术断档，在如今最核心的推理和混合专家模型（MoE）上，不得不重新在空白中探索。单体万能大模型的时代已经死了，以后是小模型和多模态各司其职。过去业界迷信堆一个万亿参数的单体大模型来解决所有问题。现在的趋势是，极度昂贵的高智商模型只用于最复杂的任务，其余绝大部分常规日常工作都分包给便宜、低延迟、垂直的小模型来做。

拥有自研模型的重要战略意义

大厂有大厂的生存逻辑，自己不掌控底牌，就只能任由别人开价。Meta 虽不排斥向 OpenAI、Anthropic 租用模型来给内部或外部产品跑测试，但必须确保自研的底层模型拥有绝对的竞争力，这才是你在谈判桌上不给竞争对手付高额“租金”的唯一底牌。Meta 承认内部“标定代码数据”的管理沟通办得极其糟糕。为了抓住代码微调的战略窗口，Meta 强行把数千名写常规软件的工程师拉进 AI 标定团队。高层急于求成而缺少解释，甚至引发了员工向媒体控诉是“集中营苦役”的极端对立，CTO 承认这在管理上确实很失败。追踪员工的操作轨迹，是为了解决 AI 至今都做得很烂的软肋——“用电脑”。AI 虽然在写诗和解答难题上表现惊人，但在面对真实的复杂软件界面和底层操作系统时，却表现得笨手笨脚。Meta 监控顶级程序员敲击键盘、点击按钮的数据，是希望教 AI 掌握人机交互的潜意识行为，教它学会使用各种办公工具。

AR 眼镜的未来展望

AR 眼镜不需要任何软件商店，App 时代终将成为过去。我们不需要给每个电器都配一个专属的 App，比如烤面包机，CTO 至今都固执地拒绝安装它。在未来的 AR 眼镜生态中，你需要什么，AI 就会在后台即时编译（Vibe - coding）并生产一个应用，服务完全在后台自动匹配和呼叫。

通往前沿 AI 之路、模型租赁与消费级 AI 的困境

主持人与 Bos 就科技圈局势、AI 模型打造等问题展开对话。主持人指出现在科技圈局势疯狂，AI 模型是一切的基础。Meta 虽拥有海量算力和顶尖研究团队，但领先的 AI 模型却迟迟未出现。Bos 认为打造顶尖 AI 模型除了算力和算法，还需要优质数据。回顾 Llama 1、Llama 2、Llama 3，Meta 曾走在前沿，但在整合 Llama 3 时，几乎投入所有研究成果，掐断了后续研发管线，导致 Llama 4 在关键技术上落后。这促使 Mark 切换到“创始人模式”，为公司争取算力和人才。如今 Meta 的新模型 Muse Spark 已获良好反响，Bos 对团队有信心。此外，模型可“租”，但 Meta 真正要创造的价值是产品，拥有自己的模型是战略布局，能掌控命运，避免受制于人。

“单体大模型”时代的终结

主持人从技术角度提问，是否能靠“硬堆资源”打造有竞争力的模型。Bos 表示现在不行，“单体模型”时代在 Llama 3 发布前后就已终结。如今的世界是根据任务类型动态调用不同模型，需要一个运行成本高、极度聪明的模型蒸馏出小版本，在不同场景使用不同模型，未来会出现“分层”局面。

自研大模型的战略价值

主持人提到苹果与 Google 的合作，询问 Meta 是否考虑类似协议。Bos 表示 Meta 会用多种模型，拥有自己的模型能掌控命运和增强谈判筹码。Meta 追求“个人超级智能”，希望为产品带来强大针对性能力，这不仅关乎模型，更关乎模型处理输入信号和整合闭环系统的能力。Meta 会“租”模型，但也在自研，“模型无关”经济上可行取决于自身有竞争力的模型，拥有领先模型是重要战略布局，但还需与产品、分发渠道、消费者体验结合。

消费级 AI 起步缓慢的原因

主持人认为消费级 AI 可能走向“个人助理”使用场景，询问 Meta 如何做出差异化。Bos 表示大家都在做令人兴奋的事，Anthropic 和 OpenAI 在企业级业务发力，而 Meta 重心在帮助消费者过好生活。消费级 AI 起步慢是因为行业陷入炒作周期，把技术带给所有人需解决用户界面、让用户理解价值等问题，目前还未做到让人们愿意融入日常生活。

对“AI 伴侣”方向的看法

主持人询问“AI 伴侣”方向，Bos 认为“个性”对模型重要，但人群偏好分布宽泛，现在还很早期，市场会提供相应产品形态。对于未来 AI 伴侣是否会成“新一代社交媒体”，Bos 认为 AI 最大好处是让人们有更多时间与所爱之人相处，真实人际连接价值会提升。

Meta AR 眼镜的前景与理念

主持人提到 Meta 发布三款自研眼镜，讨论手机和可穿戴设备谁才是 AI 设备。Bos 认为手机很好，但相机和音频是希望不掏手机就能用的，AI 推动下可穿戴设备前景乐观。未来 AR 展现形式中，眼镜可根据需求当场构建应用，“应用花园”模式会变没必要，有价值服务按需提供。Orion 眼镜是重要里程碑，虽未达消费级价格，但在软件迭代上有进展，Meta 坚信全 AR 是未来，产品需兼顾功能、外观、舒适度和价格。

Meta 内部“专家轨迹”采集问题

主持人提到员工对 AI 相关任务的抱怨，Bos 认为员工说法夸张，但承认内部在这方面花了大量时间。发布 Muse Spark 后，发现可通过后训练提升模型编程竞争力，于是从各部门抽调大量人手采集“专家轨迹”。但项目推进快，结构和沟通不完善，Bos 曾形容其“糟糕透顶”。从战略讲，这个决定正确，但需更好地与员工沟通。

“行为追踪”的目的与情况

主持人询问“行为追踪”，Bos 表示强化学习在 AI 中作用重要，人类知识和行为长尾长，员工正常工作产生的数据对训练模型有价值，可解决 AI 在“使用电脑”上的难题。对于“长尾专家训练”，用详尽任务后训练更好，此次项目是长期过程，且已做了不少调整。

AI 与“疼痛”的思考

主持人提到 Bos 博客中“疼痛就是康复”，询问人类在 AI 拿走工作中“疼痛”后去哪找。Bos 以药物戒断为例解释“有生产力的疼痛”，认为 AI 带来的阵痛属于此类，需摸索出可行路径。社会中也存在无价值的疼痛，应把经历的疼痛与创造的价值对齐，逃避整合 AI 的疼痛会有风险。