Meta认为未来将需要更多的计算能力来训练模型

Meta 开发了最大的基础开源大型语言模型之一 Llama，该公司认为，未来将需要更多的计算能力来训练模型。

马克·扎克伯格周二在 Meta 的第二季度财报电话会议上表示，为了训练 Llama 4，公司需要的计算能力将比训练 Llama 3 多 10 倍。但他仍然希望 Meta 能够建立训练模型的能力，而不是落后于竞争对手。

扎克伯格表示：“训练 Llama 4 所需的计算量可能几乎是训练 Llama 3 的 10 倍，而且未来的模型还将继续超越这一规模。”

“很难预测未来几代人的发展趋势。但目前，考虑到启动新推理项目的准备时间很长，我宁愿冒险在需要之前建设能力，也不愿为时已晚。”

Meta在 4 月份发布了拥有 80 亿个参数的 Llama 3。该公司上周发布了该模型的升级版，称为 Llama 3.1 405B，拥有 4050 亿个参数，成为 Meta 最大的开源模型。

Meta 首席财务官 Susan Li 也表示，公司正在考虑不同的数据中心项目，并建设未来 AI 模型的训练能力。她表示，Meta 预计这项投资将在 2025 年增加资本支出。

训练大型语言模型可能是一项昂贵的业务。Meta 的资本支出从去年同期的 64 亿美元增长了近 33%，至 2024 年第二季度的 85 亿美元，这得益于对服务器、数据中心和网络基础设施的投资。

据The Information报道，OpenAI花费30亿美元用于训练模型，另外还花费40亿美元以折扣价从微软租用服务器。

“随着我们扩展生成式 AI 训练能力以推进我们的基础模型，我们将继续以一种能够让我们随着时间的推移灵活地使用它的方式构建我们的基础设施。这将使我们能够将训练能力引导到 GenAI 推理或我们的核心排名和推荐工作中，当我们预计这样做会更有价值时，”李在电话会议上表示。

在电话会议中，Meta 还谈到了面向消费者的Meta AI 的使用情况，并表示印度是其聊天机器人的最大市场。但李指出，该公司并不指望 Gen AI 产品能为收入做出重大贡献。

国内对于 AI 行业的中小微企业、高校师生和创业者等群体来说，算家云等平台提供了便捷的算力获取途径。以往这些群体可能因资金、技术等限制难以拥有强大的算力支持，而现在可以通过租用算力服务，以较低成本开展 AI 相关的研究、开发和实验，这大大降低了 AI 领域的进入门槛，有助于激发更多的创新想法和项目的诞生。例如，高校的科研团队可以利用这些平台的算力进行复杂模型的训练和算法的验证，推动学术研究的进展；中小微企业能够基于强大的算力进行产品创新，开发出更具竞争力的 AI 应用。

百川、Qwen、Llama等热门大模型项目链接：算家云-AI-应用社区|模型社区|镜像社区