Agentic AI来临，云不再是一个理想选择？

黄仁勋近日在 GTC 2025 的主题演讲中展示，16 家 OEM 目前已开始发售搭载 Nvidia 最新 Blackwell GPU 的系统。

代理式人工智能（Agentic AI）的兴起给基础设施带来了新的压力。如果英伟达（Nvidia）首席执行官黄仁勋（Jensen Huang）的预测成真，随着企业部署基于推理模型的人工智能代理，对加速计算的需求将增加 100 倍。那么，客户将从哪里获得运行这些推理工作负载所需的 GPU 和服务器呢？云端是一个显而易见的选择，但，这可能会非常昂贵。

当 ChatGPT 在 2022 年底和 2023 年初首次亮相时，人们仿佛看到了“淘金热”，各家公司纷纷打开钱包，积极探索各种方法。大部分探索都是在云端进行的，因为云端对于零星工作负载的成本可能会更低。然而，随着企业逐渐明确他们想要长期运行的人工智能类型（在许多情况下是代理人工智能），云端似乎不再是一个理想的选择。

从云端到本地：AI 部署的转变

将人工智能从概念验证转变为实际部署的公司之一是 H2O.ai。这是一家总部位于旧金山的预测和生成人工智能解决方案提供商。据 H2O 创始人兼首席执行官 Sri Ambati 介绍，该公司与戴尔（Dell）合作，在客户现场部署本地人工智能工厂，这一合作正在逐渐升温。

“在探索阶段，人们投入了大量精力，几年前，人们似乎有无限的预算去做这些事情。”Ambati 表示，“刚起步的人往往有一种‘无限预算’的心态。但当他们从演示转向生产，从试点转向全面部署……这无疑是一个漫长而艰难的旅程。”

正如黄仁勋在本周 GTC 2025 的主题演讲中所展示的那样，目前已有 16 家原始设备制造商（OEM）开始发售搭载英伟达最新 Blackwell GPU 的系统。

在许多情况下，这一过程涉及分析将单词转换为由大型语言模型（LLM）处理的token的成本，然后再将输出重新转换为呈现给用户的单词。推理模型的出现改变了token计算逻辑，这主要是因为推理模型完成的思路链推理中有更多步骤，需要更多token。Ambati 表示，他不相信这会是 100 倍的差异，因为推理模型将比黄仁勋所说的更高效。但更高的效率也意味着需要更好的性价比，对许多人来说，这意味着转向本地部署。

“本地 GPU 的成本大约只有云 GPU 成本的三分之一。”Ambati 说道，“我认为高效的 AI 前沿已经到来。”

在线与本地：企业的选择

另一家在代理式人工智能时代见证本地处理复苏的公司是 Cloudera。据该公司企业人工智能副总裁 Priyank Patel 介绍，一些 Cloudera 客户已经开始采用代理式人工智能和推理模型，其中包括新加坡的万事达卡（Mastercard）和华侨银行（OCBC）。

“我们确实看到很多客户在尝试代理和推理模型。”他说，“市场正在向这方面发展，不仅是因为基础设施提供商希望进入这一领域，还因为终端用户也看到了其中的价值。”

然而，正如黄仁勋所说，如果推理将导致工作负载增加 100 倍，那么在公共云中运行这些工作负载就显得不太合理了。

“过去十年来，世界一直在向云计算迈进。”他说，“现在，他们开始重新审视云计算。”

Cloudera 将其数据平台设计为混合云产品，客户可以轻松地将工作负载移动到他们需要的地方。Patel 表示，客户无需重新调整他们的应用即可在其他地方运行它们。他说，Cloudera 客户希望在本地运行代理式人工智能应用，这表明在云端执行此操作在财务上不太合理。

“进行训练、调优，甚至大规模推理（如英伟达未来针对代理式人工智能所讨论的那些）的拥有成本，是一个更好的总体拥有成本（TCO）论点，它由本地驱动，或者由数据中心内的自有基础设施驱动，而不是仅仅在云端按小时租用实例。”Patel 说，“在数据中心方面，你只需支付一次费用，然后就可以使用它。从理论上讲，如果你使用更多，你本质上不会增加成本。”

进入 FinOps 领域：优化云成本

多年来，三大公共云——AWS、微软 Azure（Microsoft Azure）和谷歌云（Google Cloud）——在存储和处理的数据量方面都取得了巨大的增长。

德勤（Deloitte）云计算工程产品主管 Akash Tayal 表示，企业在云计算上浪费的资金一般在 20% 到 40% 之间。

“云中存在很多浪费。”Tayal 说到，“人们并不是没有看到这一点。而是当你开始进入云时，你会得到新的想法，技术会不断发展，新的服务也会随之而来。”

Tayal 表示，那些只是将现有应用直接迁移到云端，而不改变资源使用方式的客户最有可能浪费金钱。他说，这也是 10% 的总浪费中最容易弥补的部分。消除其余的需要更仔细地监控和重新设计应用，这更难做到。这也是他在德勤金融运营业务的重点，该业务在过去几年中发展强劲。

Tayal 为公共云在创新方面的记录进行了解释。他说，那些使用云来尝试新技术和开发新应用的人更有可能从云中获得更好的价值。训练或微调模型不需要 24x7x365 全天候的资源，因此在云端启动租用的 GPU 可能是合理的。

代理式人工智能仍是一项新兴技术，因此有很多创新可以在云端实现。但随着这些创新变成需要始终运行的生产用例，企业需要认真审视他们正在运行什么以及如何运行。Tayal 说，这就是 FinOps（财务运营）发挥作用的地方。

“如果我实际使用了一个持久的工作负载，以 ERP 或类似的东西为例，并且我开始使用这些按需服务，那么整个月每周 7 天、每天 24 小时运行计量器是不可取的。”

我们距离让代理式人工智能成为像 ERP 系统一样还有很长的路要走。然而，运行代理式人工智能的成本可能比成熟的、高效的 ERP 系统高得多，这会迫使客户分析其成本并尽早应用新兴的 FinOps 原则。

另类云：挑战传统巨头

事实是，公共云因向客户收取过高的费用而声名狼藉。有时这些指控是公平的，但有时却不公平。无论公共云是否故意欺骗客户，都有数十家替代云公司涌现出来，它们非常乐意以大公司成本的一小部分提供数据存储和计算资源。

其中一个替代云是 Vultr。这家公司在 GTC 2025 上向人们介绍他们拥有英伟达最新、最强大的 GPU——HGX B200，可以开始进行人工智能开发。

“从根本上说，这是一场与云巨头的较量。所以这是一个替代选择。”该公司首席营销官凯文·科克伦（Kevin Cochrane）表示，“我们将为您节省 50% 至 90% 的云计算成本，这将释放足够的资金，基本上可以投资于您的 GPU 和新的 AI 计划。”

例如，Vultr 并不打算完全站在企业和 AWS 之间。但科克伦表示，将所有工作负载全部放在一个云上可能没有经济意义。

“你只是想部署一名客服人员。天哪，你真的要花 1000 万美元购买 AWS 吗？你只需花费我们一半的成本就能搞定这一切。”他说，“如果我们能用一半的时间和一半的成本让你开始运行，这对你来说不是很有好处吗？”

Vultr 成立于 2014 年，创始人是一群工程师，他们希望以合理的价格提供可靠的基础设施。该公司购买了大量服务器、存储阵列和网络设备，并将其安装在全国各地的主机托管设施中。公司逐渐扩张，如今已在全球数百个数据中心开展业务。三年前，该公司聘请了第一位营销人员（科克伦），最近收入突破了 1 亿美元大关。科克伦表示，该公司“利润丰厚”，完全是自力更生，这意味着它没有接受任何风险投资或股权融资。

如果说亚马逊是一艘设施齐全的豪华游艇，那么 Vultr 就是一艘快艇，后面放着装满饮料和三明治的冷藏箱。它能快速将你送到目的地，但又没有华而不实的东西。

“如果你正在为一个资本密集型企业提供资金。每一分钱都很重要，对吧？”科克伦说，“现实情况是，亚马逊拥有所有这些出色的服务，而所有这些出色的服务都拥有非常庞大的产品工程团队和非常庞大的营销预算。他们不赚钱。那么你如何为所有这些实际上不能为你赚钱的东西提供资金呢？EC2、S3 和带宽的成本被大幅抬高，以支付其他所有成本。”

（数据智能体Relyt AI免费公测中）