
1. LLaMA 4 陷入被动局面
在软件研发里,最怕的是把未来的“存粮”一次性吃光。Meta 的 CTO Andrew Bosworth(以下简称 Bos)在最近的 Big Technology Podcast 播客中聊起 LLaMA 4 的被动局面时,复盘了那个无心之失。在交付 LLaMA 3 时,Meta 团队太想打个漂亮仗,把原本预留给下一代版本的路径探索、前沿设想一股脑都提前透支了。结果,LLaMA 3 赢得了满堂彩,却直接导致研发 LLaMA 4 时管道空空如也,在推理(Reasoning)和混合专家模型(MoE)上瞬间落后了别人一个身位。
2. Meta 内部的“战时动员”
这次技术断档,逼得马克·扎克伯格(Mark Zuckerberg)改变策略,彻底进入了疯狂抢算力、抢人才的“创始人模式”。为了快速补课,Meta 发起了一次极度紧迫的“战时动员”:数千名非 AI 部门的资深工程师被迫暂停手头的核心项目,一夜之间被抽调去给 AI 标定专家代码数据。这种粗暴的强推在内部引爆了极大的积怨,甚至有员工向媒体抱怨这简直像是在“集中营干苦役”。对于高层沟通的缺失,Bos 没有粉饰,他承认自己在内部被泄露的邮件中把这次管理称为“极其糟糕”(atrocious)。但他坚持认为方向没有错——为了让大模型学会“如何像人类一样正常使用电脑软件”这种基础操作,Meta 甚至开始追踪和收集员工敲击键盘、点击界面的底层交互轨迹,因为在强化学习时代,这种不体面的“脏数据”才是最稀缺的燃料。
3. 单体万能大模型时代已死
LLaMA 3 提前透支了所有技术路线,给 LLaMA 4 留下了一个空空的管道。研发 LLaMA 3 时,Meta 掏空了所有的技术储备来确保当时版本的成功。这导致研发 LLaMA 4 时面临技术断档,在如今最核心的推理和混合专家模型(MoE)上,不得不重新在空白中探索。单体万能大模型的时代已经死了,以后是小模型和多模态各司其职。过去业界迷信堆一个万亿参数的单体大模型来解决所有问题。现在的趋势是,极度昂贵的高智商模型只用于最复杂的任务,其余绝大部分常规日常工作都分包给便宜、低延迟、垂直的小模型来做。
4. 拥有自研大模型的重要性
大厂有大厂的生存逻辑,自己不掌控底牌,就只能任由别人开价。Meta 虽不排斥向 OpenAI、Anthropic 租用模型来给内部或外部产品跑测试,但必须确保自研的底层模型拥有绝对的竞争力,这才是在谈判桌上不给竞争对手付高额“租金”的唯一底牌。
5. 内部管理问题与 AI 发展困境
Meta 承认内部“标定代码数据”的管理沟通办得极其糟糕。为了抓住代码微调的战略窗口,Meta 强行把数千名写常规软件的工程师拉进 AI 标定团队。高层急于求成而缺少解释,甚至引发了员工向媒体控诉是“集中营苦役”的极端对立,CTO 承认这在管理上确实很失败。追踪员工的操作轨迹,是为了解决 AI 至今都做得很烂的软肋——“用电脑”。AI 虽然在写诗和解答难题上表现惊人,但在面对真实的复杂软件界面和底层操作系统时,却表现得笨手笨脚。Meta 监控顶级程序员敲击键盘、点击按钮的数据,是希望教 AI 掌握人机交互的潜意识行为,教它学会使用各种办公工具。
6. AR 眼镜的未来愿景
AR 眼镜不需要任何软件商店,App 时代终将成为过去。不需要给每个电器都配一个专属的 App,比如烤面包机,CTO 至今都固执地拒绝安装它。在未来的 AR 眼镜生态中,需要什么,AI 就会在后台即时编译(Vibe - coding)并生产一个应用,服务完全在后台自动匹配和呼叫。
7. 打造顶尖 AI 模型的要素与挑战
主持人与 Bos 探讨打造顶尖 AI 模型的问题。很长一段时间里,业界认为打造出色的 AI 模型需要海量算力和顶尖研究者打磨算法,Meta 具备这些条件,可领先的 AI 模型却迟迟未出现。Bos 认为还需要优质数据。回顾 Llama 1、Llama 2、Llama 3,Meta 曾走在前沿,但在整合 Llama 3 时,几乎投入所有研究成果,掐断了后续研发管线,导致 Llama 4 在关键技术上落后。这促使 Mark 把 AI 定位为关乎公司根基的赌注,进入“创始人模式”争取算力和人才。目前 Meta 新发布的模型 Muse Spark 已获良好反响,Bos 对团队有信心。
8. 模型租赁与战略布局
模型本身可以“租”,可以用 Anthropic、OpenAI、Google 的模型。但 Meta 认为真正要创造的价值是产品,拥有自己的模型是战略考虑,能掌控命运,避免受制于人。消费者最终只在乎功能,未来大家应关注向消费者证明产品价值。
9. 单体大模型时代的终结
“单体模型”的时代大概在 Llama 3 发布前后就已经终结。现在的世界是根据任务类型动态调用不同模型,需要一个运行成本高、极度聪明的模型,在需要时调用,其余场景用便宜、快、延迟低的模型。未来会出现“分层”局面,要把一组模型组合起来解决问题。
10. 自研大模型的战略意义
拥有具有竞争力的自研大模型,是防止在谈判桌上被对手勒索高额“租金”的底牌。Meta 在用不同模型为消费者提供合适的模型,同时也在自研模型。“模型无关”在经济上合理,取决于自己有有竞争力的模型。拥有领先模型是重要战略布局,但还需结合产品、分发渠道、消费者体验,这才是相对于竞争对手的真正优势。
11. 与 AI 的“融合”探讨
主持人询问 Bos 是否改主意和 AI“融合”,Bos 表示不认为是和 AI“融合”。人和机器之间的“比特率”在不断提升,自动纠错、二维码等都是提升“比特率”的实践。AI 若能用“人性化”方式理解事物,结合其整合信息回传的能力,将大幅提升“比特率”。
12. 消费级 AI 的发展问题
从产品角度看,大家都在向“个人助理”使用场景发展,Meta 主要重心是让技术帮助消费者过好生活。消费级 AI 起步缓慢,因为“炒作周期”是行业规律,把技术带给所有人需解决用户界面、让用户理解价值等问题。目前的 agentic 框架难融入日常工作流程。
13. AI 伴侣的发展方向
对于“AI 伴侣”方向,人群偏好分布宽泛,有人希望 AI 有实体形象、个性,有人只希望 AI 可靠、值得信赖。现在还处于早期,市场会提供相应产品形态。
14. AI 与人际连接的关系
对于 AI 伴侣是否会变成“新一代社交媒体”,Bos 认为 AI 最大好处是让人们有更多时间和在乎的人相处,真实人际连接价值会提升,但各种情况都会存在。
15. AR 眼镜的应用前景
Meta 发布三款全新自研眼镜,对于是否需要 AR 或 AI 眼镜,Bos 认为手机虽好,但相机和音频希望不掏手机就能使用,AI 能解锁更广泛能力。未来 AR 眼镜可实时构建应用,“应用花园”模式会没那么必要,有价值的服务按需获取。Orion 眼镜是重要里程碑,虽价格未达消费级,但在软件迭代上取得进展,Meta 仍坚信全 AR 是未来。
16. 公司内部的“专家轨迹”采集问题
Meta 内部抽调大量人手做“专家轨迹”采集工作,因推进快,项目结构和沟通不完善,Bos 承认管理糟糕,但认为战略正确。随着技术转向强化学习,追踪员工操作轨迹有价值,可让模型学习完成任务。项目长期,已做调整,如增加休息时间、允许暂停和退出。
17. AI 带来的“疼痛”思考
主持人提到 Bos 博客中“疼痛就是康复”的观点,询问 AI 拿走“疼痛”后怎么办。Bos 以药物戒断为例,说明这是“有生产力的疼痛”,AI 带来的阵痛需自己摸索解决。社会中也有无价值的疼痛,如不用计算器做数学考试。要把经历的疼痛与创造的价值对齐,逃避整合 AI 的疼痛会让个人和公司陷入风险。
27



被折叠的 条评论
为什么被折叠?



