生成式人工智能实践：从原型到生产

生成式人工智能实践：从原型到生产

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon Bedrock， ]

导读

随着生成式人工智能（gen AI）在2024年过渡到生产系统，早期采用者正在获得诸如提高生产力和改善客户体验等回报。组织必须构建与其用例和文化相符的定制化gen AI模型和应用。强大的数据策略，包括数据摄取、存储、处理和治理，至关重要，这需要采用最佳架构实践以确保性能、可靠性和成本效益。企业还通过低代码/无代码工具让业务用户参与构建和开发过程，从而释放gen AI的力量。通过采纳这些最佳实践，公司可以充分实现gen AI的可扩展潜力，创造切实的商业价值。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent活动上，Basker Schriedering博士发表了一场题为“生成式人工智能实践:从原型到生产”的精彩演讲。他认可了创新者成功将人工智能/机器学习项目从原型转移到生产环境的非凡真实案例，利用尖端人工智能和现实世界应用。在过去几年中，各个领域出现了人工智能/机器学习原型的爆炸式增长，从快速绘制超过1000亿个脑细胞到创建个性化教育内容，降低运营费用，并在人工智能驱动的虚拟现实法庭培训法官，标志着一股前所未有的探索浪潮，被称为“第一幕”。

然而，现在整个行业正处于一个拐点，原型正在迅速转向生产，开启了“第二幕”。Schriedering博士强调了挑战，引用了一份Gartner报告，估计至少有30%的人工智能/机器学习项目在概念验证后会因成本攀升、数据质量差和缺乏针对潜在风险的充分保障而被放弃。

为了成功驾驭这一过渡，Schriedering博士概述了四个关键驱动因素。首先，模型不断演进和超越。亚马逊云科技提供选择和灵活性，允许客户从Amazon Bedrock上的现有模型中选择，访问Bedrock市场上超过100个基础模型，导入自定义模型，或使用Amazon SageMaker AI训练模型并在Bedrock中定制。领先的人工智能公司如Hugging Face、Hypocrite AI和Perplexed AI都在SageMaker AI上训练了他们的模型。

其次，训练和推理成本都至关重要。亚马逊云科技提供SageMaker HyperPod高效训练模型，可减少高达40%的训练时间。对于推理，Bedrock支持提示缓存(降低高达90%的成本和高达85%的延迟)、智能提示路由(降低人工智能应用开发成本高达30%)和批量推理(价格为按需定价的50%)。

第三个驱动因素是数据，它是人工智能的命脉和关键区分因素。亚马逊云科技通过Amazon SageMaker提供了一个连贯的基础设施和数据、分析和人工智能中心。

最后，信任(包括隐私、安全和健全的治理)是不可或缺的。亚马逊云科技提供了健全的保障和治理能力。

Schriedering博士分享了PerplexityAI的例子，他们利用SageMaker HyperPod加快了40%的基础模型训练时间，使他们能够在竞争激烈的环境中更快进入市场。

此外，他强调了DoorDash利用Bedrock为Dashers构建对话式人工智能解决方案的历程。DoorDash设定了三个成功指标:速度(响应时间低于3秒)、质量和幻觉率。在探索各种解决方案后，DoorDash在Bedrock上找到了理想平台，实现了约2.5秒的响应延迟，同时保持了高质量。通过整合帮助中心的数据并利用Bedrock知识库中的RAG，DoorDash减少了幻觉，防止了提示注入攻击，并检测了辱骂性语言。他们与Generative AI Innovation Center合作建立了一个健全的评估框架，实现了大规模自动化测试，并高精度评估关键指标。

结果对DoorDash来说是革命性的。他们的人工智能解决方案现在每天处理数十万个呼叫，为Dashers提供无缝的自助服务支持，每天减少数千次升级到人工代理，并带来每年数百万美元的显著成本节约。

Schriedering博士还强调了亚马逊云科技与Salesforce的合作伙伴关系，后者开发了Agent Force，这是一套企业级、值得信赖和自主的人工智能代理和工具。OpenTable、Slack、5th Avenue和Whiley等公司已经采用了Agent Force平台。Agent Force的Atlas推理引擎基于专有的认知架构，能够实现逐步审慎的推理和验证，以达到企业所需的高精度、高准确性和无幻觉。

Schriedering博士将此与2022年11月ChatGPT的重大推出作了类比，他承认虽然许多客户都在尝试自己的解决方案，但要实现最后一英里的准确性、相关性和可信赖性需要专业工具和技术。他解释了系统1推理(快速、直觉响应)和系统2推理(审慎、逐步推理并进行验证)之间的区别，强调Agent Force的Atlas推理引擎实现了系统2人工智能推理，以达到企业所需的高水平准确性和精度。

Schriedering博士表示，97%的Bedrock客户正在使用多个模型，而在Bedrock中提炼的模型运行速度高达500%，成本降低75%，使大规模应用在财务上变得可行。他强调了新的产品，如LLM as a Judge用于人性化评估结果，以及通过单一API进行模型蒸馏。

此外，Schriedering博士介绍了Amazon SageMaker HyperPod Task Governance，提供了跨团队和项目的资源分配的全面可见性和控制。这一创新可以产生切实的训练成本节约影响，提高计算效率并将成本降低高达40%。一个演示展示了HyperPod Task Governance如何自动定位和借用来自较低优先级任务的计算资源，使需要8个节点的紧急任务(如模型微调)能够高效运行，同时暂停和恢复较低优先级任务，因为资源可用。Amazon内部利用这一创新，通过HyperPod Task Governance实现了90%以上的加速计算利用率。

Schriedering博士最后重申，亚马逊云科技的愿景是成为构建生成式人工智能应用的最佳场所，提供最广泛、最深入的功能、最佳的性价比，以及数百万客户信赖的安全性和可靠性。他鼓励观众保持联系、分享经验并为亚马逊云科技的创新做出贡献，因为90%的创新源于倾听客户的心声。

下面是一些演讲现场的精彩瞬间：

开场视频展示了创新者成功地将他们的AI/ML项目从原型扩展到生产阶段，突出了尖端AI技术与现实世界应用的融合。

DoorDash的AI解决方案每天处理数十万次呼叫，减少了转移到人工客服的情况，为公司节省了大量成本。

Agent Force是一款尖端的AI助手，能够动态适应人类语言，并利用Salesforce的数据和工作流程提供相关联系人，展现了Salesforce平台及其收购的力量。

Salesforce的Agent Force利用Customer 360平台和Data Cloud提供高度准确和相关的AI驱动响应，消除了企业构建自己复杂AI系统的需求。

亚马逊云科技首席执行官强调客户正在尝试使用聊天机器人，并需要专业工具来实现企业级别的准确性和相关性。

Kaplan强调了System 1或快速推理的局限性，它依赖于直觉，可能导致幻觉和不准确性，与更加受控和准确的推理形成对比。

亚马逊云科技承诺将在客户的生成式AI之旅中予以全程陪伴，为他们最关键的数据和应用程序提供无与伦比的灵活性、功能、经济性、安全性和可靠性。

总结

这篇演讲深入探讨了将AI/ML原型转变为生产就绪应用程序的变革之旅，这个过程被称为“生成式AI革命的第二幕”。演讲重点强调了成功过渡的四个关键驱动因素:模型灵活性、成本优化、数据质量和健全的治理。它强调了Amazon Bedrock在提供多样化的基础模型方面的关键作用，使模型实验和定制变得无缝。演讲介绍了诸如SageMaker HyperPod和Bedrock的提示缓存等高性价比的训练和推理解决方案，使组织能够高效地扩展AI应用程序。

DoorDash的对话式AI解决方案的真实案例突出了这些功能的实际应用，展示了他们如何实现了卓越的速度、质量和幻觉管理。演讲还重点介绍了Salesforce的Agent Force，这是一个与Salesforce生态系统深度集成的可信赖的AI代理平台，利用System 2推理来提高准确性和相关性。

最终，这篇演讲将亚马逊云科技定位为实现生成式AI应用程序成功生产和部署的统一协作环境。它强调亚马逊云科技致力于提供最广泛的功能、高性价比、安全性和可靠性，在整个生成式AI之旅中为客户提供支持。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。