顺势而为or从此落寞？大模型/Agent时代云计算有哪些机会？

关注

原创 2024-03-28 12:42:46 2.1k 阅读 AI 写同款· GEO 优化 ›

【企业知识助手·Agent 实战】如何构建 Agent 运行态可观测体系：从行为基线漂移检测到成本预算治理的深度实战核心原理：运行态可观测的本质是把"单点阈值"升级为"与基线的分布距离"——埋点回答发生了什么，基线比较回答这是否还正常关键结论：deny 率没有单向好坏语义，必须双边告警 + known-good / known-bad 双哨兵仲裁；成本归因的终点是单位经济与预算三线一位；评测分数入库让质量拥有趋势线。阅读详情

大模型/Agent为主的生成式AI风生水起，火了多年的云计算遭受新的挑战和冲击，变则生辉、不变则生灰。

先说结论，任何一项主流新技术的发展都可能会碾压之前的方案，但我们要把握新技术顺势而为！

re:Invent和百度智算大会刚刚落幕，除了持续发布生成式AI相关产品，还提出了新的观点：重构云计算。AWS是云计算的初创者和领导者，发布了那么多生成式AI的内容，但也是基于云计算平台的服务，人工智能和云计算有机融合、相互促进，也像百度智算大会中提到的“Cloud for AI”，围绕人工智能的云计算，显然人工智能已经开始在重构云计算。

Let's 构！

Let's 重构！

00 重构云计算

AWS re:Invent、百度智算大会都在提重构云计算，的确现在最火的就是大模型了，让开发者和企业都有进城的感觉，好像20年前互联网时代到来这样新奇的感觉。互联网造就了很多传奇与神话，现在大模型的到来也给了我们更多期待，都觉着这是新的机会，不上车就会落后。

有人说大模型会重塑互联网时代的所有内容，包括对云计算的重构。狭义的云计算还是IaaS和PaaS层的资源层技术服务，广义上的云计算包括了SaaS应用、生态伙伴以及视频云、低代码、大数据、大模型及人工智能等最新技术的综合服务，广义云计算几乎等同于IT（Information Technolege）了。

Martin Flower在《重构改善既有代码的设计》一书中介绍了代码如何进行重构，代码为什么要重构呢，因为有很多Bad Smell（坏味道），思想借鉴到云计算中同样适用，在大模型时代云计算对用户提供的服务的过程中有了新的需求、也出现了Bad Smell，包括企业和开发者能使用到的计算能力不足、大模型训练推理精调中对存储和网络新的挑战、现有云计算安全合规体系需要适配大模型的应用、对成本的考虑不能仅局限于云底层资源......

re:Invent 中国行北京站

百度智算大会

大模型对云计算的重构分为三层

顶层，应用服务层

基于场景、匹配需求、解决痛点的各类使用了大模型、云计算等技术的应用，以解决实际问题为导向的应用服务。

中层，工具平台层

顶层应用服务开发是基于AI工具平台，而不再是直接基于云计算开发，不仅是云计算原生应用而是AI原生应用。

底层，基础服务层

云计算能力下沉到底层，云计算不仅仅是资源，更是支撑中层AI工具平台的各种组件和服务。

01 底层：基础服务层

云计算能力下沉到基础资源及基础组件

大模型应用时代需要更多的算力，很多人认为大模型时代的算力由CPU转为了GPU，其实我的理解是从之前CPU为主转为了异构融合计算，在实际应用落地过程中很难使用单一类型的资源用于模型训练、在线服务、其他基础服务，不同类型的应用可以由不同资源类型提供，并且现在存在单一GPU卡型不足等情况，部分厂商也在往自研芯片方向演进，所以有哪些资源就用哪些资源是更贴合实际的情况，算力会长期维持在异构融合计算的阶段。

底层资源需要更多新的功能和产品，比如之前没有需求的向量数据库现在成为了必不可少的基础能力，大模型以及上层应用也需要底层的计算、网络、存储、安全的底座能力，云计算的各个产品有必要围绕AI进行重构，“以满足AI使用场景为产品成熟度的一部分”也正在成为事实。

现在正是大模型风口，不少人有“不计成本的创新”的想法，也许没错，不过对于企业落地应用就要考虑成本了，不仅仅是云计算资源的成本，更是围绕大模型和AI重构应用的显性成本和隐性成本。

安全合规一直都是云计算不可或缺的模块，在生成式AI时代内容生产者变成了开发者以及AI，大模型需要提供更精准的能力就需要有数量足够多、质量足够高的数据进行训练，高质量的数据肯定是用户数据，但显然不能使用用户数据进行训练，如何保障用户数据真正没有被训练使用并且大模型还能够获取到高质量的训练数据，也正是当前各企业和开发者正在努力实现的方向。

02 中层：工具平台层

重构新增工具化平台，上承应用、下承底层能力

传统模式是基于云计算构建应用，经过重构后，我们基于大模型相关各类工具和平台进行开发，使用已有的性价比高和场景匹配的大模型、基于大模型和服务托管平台、通过社区集成更多周边应用工具等等。

2.1 大模型

“白模大战”真的不夸张，很多企业和开发者不一定人手一个大模型，但肯定需要基于大模型进行应用，大模型也会像云计算这样由少数几家公司提供、其他更多公司和开发者围绕生态共建大模型时代。

零一万物官网

百度智算大会

2.2 大模型平台

百度千帆大模型平台

阿里云百炼

智源

ModeScape魔搭

开放传神 OpenCSG

华为云 AI Gallery 百模千态社区

2.3 应用与模型发布托管平台

Amazon Bedrock

OpenCSG StarChain

ModeScope 魔搭

百度千帆大模型平台

03 上层：应用服务层

之前基于云计算开发应用，重构为基于AI开发应用

上层应用和服务不再全部基于云计算能力了，更重要的是基于AI、大模型以及相关生态开发的应用，很多人也称为AI原生应用。现在已经有非常多好用的工具，比如写文案、生成海报、生成PPT等等，不过还需要结合人们生活工作实际需求痛点来构建合适的应用和服务。

3.1 代码辅助工具

开发者基于大模型推出的创新工具先便利了开发者，使用前觉着这些工具也没啥作用，使用后感觉离不开了。

Amazon CodeWhisperer

体验总结：技术布道 | 阿里云通义灵码来辅助编程，根据代码生成注释岂不梦想成真

阿里云通义灵码

体验总结：技术布道 | 阿里云通义灵码来辅助编程，根据代码生成注释岂不梦想成真

Azure Copilot

3.2 发布自己的服务

企业和开发者发布自己的应用和服务，自助式的在本地或云端部署，或者直接由应用平台托管模型和在线推理等服务，能够更便捷的调用多个模型和应用，也无需负责底层资源稳定、扩缩容、运维等问题。前面在工具平台层提到的几个模型平台也都提供了在线服务托管的能力，在工具平台层的重点是提供的部署能力，在应用服务层关注的是应用服务本身。

基于百度千帆大模型平台