迁移至Bedrock并加速生成式AI应用开发

迁移至Bedrock并加速生成式AI应用开发

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Bedrock， Generative Ai Applications， Model Choice， Corporate Data， Responsible Ai， Developer Experience， Referral Summarization， Personalized Shopping Experiences， Content Generation， Latest Nlp， High Performance， High Availability， Scalability， Easy Integration， Intent Classification， Product Recommendations， Hyperpersonalization， Conversational Chatbots]

导读

听两位亚马逊云科技客户讲述他们迁移到Amazon Bedrock并在亚马逊云科技上成功开发生成式AI应用的历程。来自佛罗里达州杰克逊维尔的医疗保健工作流管理公司Forcura的领导者分享了他们如何通过自动化工作流、协作和分析SaaS解决方案，为医疗服务提供商促进护理连续性并提升业务表现。此外，智利最大、拉丁美洲第二大零售公司Cencosud S.A.的领导者讨论了他们如何创建一个助手来支持杂货客户的数字购物旅程。

演讲精华

以下是小编为您整理的本次演讲的精华。

在亚马逊云科技 re:Invent 2024活动上，一场题为“利用Bedrock加速Gen AI应用程序开发”的精彩演讲，揭示了亚马逊云科技在生成式人工智能(Gen AI)领域取得的卓越进展。来自Bedrock市场推广团队的Ratash Kumar登台亮相，娓娓道来Bedrock的演进历程、工程投资以及对客户Gen AI之旅产生的深远影响。

Ratash的精辟演讲首先认可了观众对于了解Bedrock能力、发展轨迹以及工程资源投入的浓厚兴趣。他敏锐地意识到，部分与会者可能正在评估Bedrock与竞争对手的优劣，寻求同行的见解来指导他们是否采用这项尖端技术。

简短介绍之后，Ratash娓娓道来了会议议程，承诺将带领大家探索Bedrock的发展历程，并穿插来自行业领袖的真实案例分享。Ferkora首席技术官David Carr和来自San Cosud的远见卓识者Diego将分享他们组织与Bedrock合作的变革经历，提供宝贵的实践见解。此外，还安排了一场思维激荡的问答环节，确保与会者获得全面而互动的体验。

Ratash的演讲转向亚马逊工作的一个基本原则:从客户需求出发。他敏锐地指出，客户反馈中一个反复出现的主题是模型选择，包含了诸多子主题。第一个子主题围绕专有模型与开源模型的二元对立，这一决策对Gen AI应用程序有着深远影响。另一个子主题探讨了定制模型的价值主张，这可能为优化和性能带来新的可能。

Ratash进一步阐明，客户面临着快速评估最适合其特定应用程序的模型的挑战。这一评估过程通常取决于三个关键参数:准确性、延迟和成本——这三大因素需要谨慎权衡。

转而，Ratash强调了另一个关键方面:Gen AI应用程序的最终目标不仅仅是生成答案，而是通过利用企业数据来解决实际的业务问题。因此，Bedrock的使命是促进企业数据与Gen AI模型的无缝集成，无论是通过提示工程、微调、检索增强生成，还是使模型能够执行任务并采取行动，而不仅仅是提供简单的答案。

在数据隐私和安全至关重要的当今时代，Ratash强调Bedrock对这些原则的坚定承诺。他透露，亚马逊和Bedrock在推出该产品时做出了一个基本选择:他们绝不会共享、存储或使用客户数据，这与一些云端同行形成鲜明对比。这一坚定立场彰显了对保护客户数据的最高优先级，体现了Bedrock核心理念中贯穿的负责任人工智能实践。

当Ratash深入探讨Bedrock的能力时，他阐明了该平台致力于使开发人员能够轻松构建和扩展Gen AI应用程序。“开发人员”、“易用性”和“可扩展性”的三位一体成为指导原则，塑造了Bedrock的发展方向和工程投资。

在模型选择方面，Ratash强调Bedrock的无服务器体验是一个关键区别，解放了开发人员免于基础设施管理、扩展和低级操作的负担。简单的API使开发人员能够无缝选择和切换模型，在不断演进的Gen AI格局中保持敏捷性和适应性。

Ratash随后揭开了Bedrock的自定义模型导入功能，这是一个最近实现普及可用的革命性能力。开发人员现在可以按需导入自定义模型，无需永久保留基础设施。开发人员只需为所使用的部分付费，这一范式转变有望开启成本效率和可扩展性的新领域。

转而谈及模型评估，Ratash赞扬了Bedrock近一年来推出的强大功能。他强调最近推出了大型语言模型(LLM)作为评判者，使开发人员能够利用不同的LLM来评估和比较模型，因为新模型不断涌现。此外，Bedrock还推出了检索增强生成(RAG)管道的任务评估功能，这是一项关键进展，允许评估整个RAG工作流程，包括分块策略、嵌入策略和其他可定制组件，而不仅仅关注模型评估。

当Ratash探索Bedrock能力的精妙织锦时，他阐明了该平台促进企业数据与Gen AI应用程序集成的方法，这一努力建立在四大支柱之上:提示管理、知识库、微调和代理工作流。

最近推出的提示管理功能使开发人员能够轻松管理数百个提示，实现A/B测试、随着新模型出现而修订提示，以及探索不同提示以优化性能。这种敏捷的提示工程方法有望开启Gen AI应用程序开发的新前景。

知识库作为一个强大的功能，为开发人员提供了一个单一API，而不必管理整个RAG管道。Bedrock的知识库还赋予客户在RAG管道的每个阶段定制模型行为的能力，这种控制水平有望释放前所未有的优化和定制潜力。

Bedrock的微调能力体现为一个单一API，使开发人员能够轻松微调模型。虽然这种简化方法吸引了开发人员，但Ratash承认，数据科学家可能会寻求更大的控制权，这可以通过集成SageMaker(亚马逊的机器学习平台)来实现。生成的模型随后可以使用自定义模型导入功能无缝导入回Bedrock，并利用按需定价实现成本效率。

当讨论转向代理工作流时，Ratash强调了它们在Gen AI领域日益重要的地位。Bedrock致力于赋予开发人员在这一领域的能力，最近的一些公告就证明了这一点，包括多代理协作(使多个代理能够协作完成复杂任务)和内联代理(允许开发人员在运行时为代理提供不同工具以促进行动)。

此外，Bedrock还推出了自定义编排器，赋予开发人员实施自己的编排技术的自由，如重新执行和审查，或设计全新的方法，使代理能够采取行动，而不仅仅是生成简单的答案。

从开发人员体验的角度来看，Ratash认可了客户的一个强烈反馈:需要简化工作流程以实现确定性结果。最近推出的Bedrock Flows功能正是解决了这一需求，它使开发人员能够通过拖放界面利用知识库、提示和代理等资源，自动化工作流程并促进确定性结果。

Bedrock Studio作为一个预览产品，进一步提升了开发人员体验，在一个统一的环境中促进开发人员与业务用户之间的协作。凭借模板，Bedrock Studio使团队能够快速构建应用程序、与业务利益相关者进行迭代，并无缝地推出他们的Gen AI解决方案。

Ratash随后转向Bedrock提供的消费选项，强调了按需供应、吞吐量批处理(最近公布的功能)和延迟敏感推理。成本标记功能显得非常有价值，使开发人员能够根据应用程序对成本进行标记，促进细粒度的成本归属和优化。

在负责任人工智能领域，Ratash重申了Bedrock对安全和隐私的坚定承诺。他强调，客户数据将是神圣不可侵犯的，Bedrock绝不会共享、存储或将其用于预期应用程序之外的任何目的。这一坚定立场得到了Bedrock令人印象深刻的合规认证的支持，包括FedRAMP High、PCI、SOC、GDPR和ISO 42001，使其能够部署到具有严格监管要求的专业垂直领域。

此外，Bedrock的防护功能使组织能够定义和执行自己的企业政策，确保Gen AI应用程序遵守每个行业或组织的独特约束和指导原则。Ratash提供了一个来自银行业的令人信服的例子，在这个例子中，防护功能可以防止LLM提供有关交易的建议，因为这是一个受到严格监管的敏感领域。

当Ratash总结他全面的概述时，他将Bedrock的重点领域浓缩为四大支柱:模型选择、利用企业数据、负责任人工智能防护和开发人员体验。这些支柱体现了Bedrock赋予开发人员权能、促进创新以及坚持最高数据隐私和安全标准的承诺。

在铺垫完毕后，Ratash邀请了Ferkora首席技术官David Carr，分享他们组织与Bedrock合作的变革历程。

David Carr在演讲开始时介绍了Ferkora这家专注于后急性护理医疗领域的软件服务公司。Ferkora的业务范围覆盖900多家客户和100万名患者，规模可观，影响力巨大。David强调Ferkora解决方案的可扩展性至关重要，因为他们需要处理患者从急性护理向后急性护理的转移，这一过程要求绝对可靠和高效。

David指出了该行业面临的挑战，包括人员短缺、Medicare报销压力导致利润空间受挤压，以及监管机构不断增加的文档要求负担。然而，最紧迫的挑战是关键信息常常被大量无关文档中的数据所淹没，这也成为Ferkora开启生成式人工智能(Gen AI)之旅的催化剂。

David巧妙地阐述了问题的核心:从急性护理向后急性护理的转移取决于入院协调员必须筛选的文档，但他们只需要这些冗长文档中的一小部分信息。平均文档长达17页，有时甚至可达数百页，就像是在浏览一本“芝士工厂菜单”般令人生畏。

认识到生成式AI的核心用例包括文本生成、翻译、情感分析和对话式AI后，David精辟地将文本摘要确定为解决Ferkora这一重复性工作的理想方案。通过利用摘要功能，Ferkora可以从这些庞大的文档中提炼出关键信息，使入院协调员能够快速高效地做出明智决策。

接下来，David讲述了Ferkora生成式AI之旅的精彩故事。2024年4月，他们基于OpenAI的基础上推出了生成式AI产品。作为一家亚马逊云科技原生组织，Ferkora充分利用了亚马逊云科技生态系统的优势，并获得了亚马逊云科技生成式AI创新中心提供的宝贵支持和专业知识。

亚马逊云科技生成式AI创新中心是Ferkora不可或缺的合作伙伴，为他们提供了关于模型选择、扩展策略和提示工程最佳实践等方面的指导。David坦率地承认，尽管OpenAI的产品非常强大，但亚马逊云科技在支持和商业化方面的实力成为了Ferkora之旅的决定性因素。

仅仅在推出OpenAI两周后，Ferkora就转向了Anthropic模型，再过两周，他们又转向了另一家模型提供商。这种灵活的模型切换体现了Bedrock的解耦和灵活性，使Ferkora能够快速评估和采用最适合其特定用例的模型。

David随后揭示了Ferkora生成式AI解决方案的架构基础，彰显了他们对可扩展性、模块化和面向未来的承诺。他们的实施核心是一种基于服务的、消息解耦架构，旨在将内容和触发源的复杂性与生成式AI工作流程抽象开来。

该过程从摄取非结构化文档开始，然后由一个步骤函数(一个遗留的AI/ML组件)将它们转换为结构化数据。这些结构化数据会触发向Bedrock发送提示请求，完成结果将存储在S3存储桶中，并通过Kafka流传播通知。

David强调了这种架构的优雅和可扩展性，指出生成式AI工作流程的触发源可以来自多种来源，如用户点击、cron作业或任何其他事件驱动机制。此外，内容本身是抽象的，可以无缝集成多模态数据源，包括除文本之外的图像。

Ferkora生成式AI实施的结果是变革性的。David分享了客户的一份未经索求的反馈，称赞该解决方案“改变了生活”。尽管David承认30%的入院时间缩短这一数据已经有些过时，但它仍然反映了对患者护理和体验的深远影响。

入院协调员现在可以根据需求优先安排患者探视，减少了浏览文件的时间，从而加快了护理的启动。这直接符合Ferkora在后急性护理领域为患者提供卓越体验的使命。

从商业角度来看，Ferkora的转诊摘要产品的采用率同样令人印象深刻，有三分之二的新客户购买了该解决方案。David将这一成功归功于Bedrock生成式AI功能所提供的抽象能力和强大功能，使得通过提示工程实现快速创新和新内容生成成为可能。

展望未来，David暗示了扩展和增强Ferkora生成式AI用例的无限机遇。有了这个基础，Ferkora可以探索提高可读性、根据新文档动态更新摘要，以及利用客户咨询委员会的反馈不断完善和发展其生成式AI产品等途径。

在Ferkora的变革性旅程展现之后，演讲的接力棒移交给了来自南美零售巨头San Cosud的Diego，他将分享他们与Bedrock的生成式AI历程。

Diego在演讲开始时承认了流感的困扰，这体现了亚马逊云科技 re:Invent 2024活动演讲者的奉献精神。尽管如此，他还是继续揭示了San Cosud的生成式AI之旅，强调Bedrock对他们运营的深远影响。

在深入探讨Bedrock实施的细节之前，Diego全面介绍了Cencosud这家零售巨头，其业务遍及8个国家，涵盖家居建材、百货商店、超市和购物中心等多元化产品组合。Cencosud拥有60多年的历史，雇员达12万人，拥有1400家门店和67个购物中心，规模和运营的复杂性可见一斑。

接下来，Diego阐述了促使Cencosud采用生成式AI的四大主要业务挑战:

1. 个性化和客户体验:为客户提供个性化和相关的购物体验一直是Cencosud在零售领域与竞争对手区隔开来的重中之重。
2. 运营效率:作为一家零售巨头，通过流程自动化、改进和降低成本来优化运营效率是一项关键任务。
3. 洞见生成:利用手头的海量数据，提取有价值的见解来推动内部流程并增强面向客户的体验是一项重要目标。
4. 内容生成:生成高质量、吸引人且个性化的内容，为客户的购买决策提供支持，是Cencosud以客户为中心方法的基石。

认识到这些挑战与Bedrock所提供的功能之间的协同效应后，Diego阐述了Cencosud选择亚马逊云科技生成式AI平台的五大令人信服的理由:

1. 快速适应最新的自然语言处理和生成式AI进展:Bedrock的解耦架构和全面的服务产品使Cencosud能够迅速适应不断发展的生成式AI格局。
2. 与Cencosud基于亚马逊云科技的电子商务平台的原生集成:由于Cencosud90%的数字平台都在亚马逊云科技上运行，与Bedrock的无缝集成简化了采用过程，加快了实现价值的时间。
3. 高性能低成本:Bedrock高性能且低成本的能力与Cencosud在优化运营支出的同时提供卓越客户体验的要求完美契合。
4. 高可用性和可扩展性:Bedrock生成式AI解决方案的内在可扩展性和可用性确保了Cencosud能够满足其庞大客户群和快速增长业务的需求。
5. 易于使用和集成:来自Cencosud开发人员和数据科学家的反馈赞扬了Bedrock用户友好的界面和无缝集成能力，加快了采用进程并缩短了上市时间。

为了说明Cencosud生成式AI实施的架构基础，Diego展示了一个高级别的图表，展现了各个组件和工作流程之间的精密交互。客户交互首先通过防火墙进行处理，确保将恶意意图与合法交互分离开来。

意图标记在这一过程中发挥了关键作用，客户交互会与Cencosud的知识库进行比对，以对相关意图和杂项或恶意意图进行分类和区分。相关意图会存储在S3存储系统中，而杂项和恶意意图则会得到特定响应，绕过由Bedrock驱动的生成式AI工作流程。

Cencosud生成式AI实施的核心位于Bedrock环境中，相关意图会通过销售前和销售后模板进行处理，利用Bedrock在响应生成、图像解释、对话式聊天机器人、超级个性化和安全测试等方面的能力。

在这种环境下，Cencosud利用检索增强生成(RAG)的力量生成上下文响应，利用其知识库确保相关性和准确性。图像解释功能能够从视觉数据中提取描述、特征和标记，丰富了客户体验。

对话式聊天机器人发挥了关键作用，Cencosud的超市业务正在进行概念验证实施。这些聊天机器人实现了意图分类和个性化响应，将客户服务体验提升到了新的高度。

超个性化成为一个关键的重点领域，Bedrock使得能够提供量身定制的产品推荐和识别类似产品，增强了客户参与度并推动了销售增长。

认识到安全性的关键作用，Cencosud的实施包括了一个专门的安全团队，负责对Gen AI解决方案进行红队测试和审计，确保数据隐私和系统完整性的最高标准。

在奠定了架构基础之后，Diego继续揭示了Cencosud使用Bedrock实施的具体用例，其中三个已经投入生产，为客户提供服务。

第一个用例集中在Cencosud的家居装修业务单元Easy上。通过利用Bedrock的图像解释功能，Cencosud可以直接从图像生成详细的产品描述、尺寸和特征。这不仅通过提供全面的产品信息来丰富客户体验，而且还大大减少了手动创建此类内容所需的时间和成本。

第二个用例围绕客户评级和评论，这是电子商务体验的基石。Cencosud的实施总结并整合了客户评级和评论，呈现了客户情绪的简明概览。此外，该解决方案还根据评论内容自动标记关键产品特征，为客户提供简洁但信息丰富的产品总结。

第三个用例目前处于概念验证阶段，涉及一个对话式聊天机器人，旨在提升Cencosud各业务的客户体验。通过利用Bedrock的意图分类功能，聊天机器人可以理解客户的意图并提供量身定制的响应以满足他们的需求。Diego分享了一个例子，当客户询问烹饪某道特定菜肴时，将收到一个详细的回复，包括食材和说明，并与Cencosud的电子商务平台无缝集成，方便添加到购物车。

第四和第五个用例集中在产品推荐上，这是现代电子商务体验的基石。Cencosud的实施利用Bedrock提供类似产品推荐，从而提高了点击率、转化率以及这些推荐所占销售额的比重。

作为类似产品推荐的补充，Cencosud还实施了互补产品推荐。例如，当客户浏览鸡肉产品时，系统会建议互补商品如盐、番茄和柠檬，从而提高了平均订单金额。

为了量化这些用例的影响，Diego分享了令人信服的指标，凸显了Bedrock的Gen AI能力的变革力量。对于类似产品推荐，Cencosud见证了点击率提高2.3%，转化率从37%飙升至55%，这些推荐所占销售额的比重高达1.23%。

在互补产品推荐领域，结果同样令人印象深刻，某些指标甚至比Cencosud之前使用的Amazon Personalize实现高出惊人的24%。Diego强调Cencosud在Bedrock和Amazon Personalize模型之间近乎实时切换的敏捷性，确保为客户提供最佳性能和结果。

展望未来，Diego概述了将塑造Cencosud Gen AI之旅的五个关键优先事项:

1. 改进现有的基于NLP/AI的应用程序，并在整个组织内标准化模型和方法。
2. 在整个组织内扩大NLP/AI的使用，跨越技术团队的界限，让所有业务部门都能利用Gen AI的变革力量。
3. 加强数据治理和安全性，认识到这些基础要素是成功实施Gen AI的基石。
4. 提高Cencosud员工的生成式AI素养和培训，培养创新文化，使组织能够充分利用这些尖端技术的潜力。
5. 通过AI推动创新，利用Cencosud的初创公司合作伙伴关系和投资，探索新的前沿领域，推动Gen AI的发展边界。

Diego强调在整个组织内扩大AI的使用至关重要，认识到零售行业已经实现的变革性益处，以及其他业务部门所蕴含的巨大潜力。

随着演讲结束，一场思维激荡的问答环节随之而来，为与会者提供了深入探讨演讲者分享的见解，并对各自组织在Gen AI采用方面的挑战、成功和未来发展轨迹有更深入的理解。

亚马逊云科技 re:Invent 2024活动有力地证明了生成式AI领域的快速发展，以及Bedrock在帮助组织利用这一变革性技术方面发挥的关键作用。通过真实世界用例和可量化的结果，该活动展示了Gen AI对医疗保健和零售等不同行业的深远影响，凸显了随着组织继续采用和创新这些尖端能力，无边界的潜力正在等待着我们。

下面是一些演讲现场的精彩瞬间：

Ratash Kumar是Bedrock公司的营销专家之一，他介绍了自己以及在帮助客户构建和扩展基于Bedrock的通用人工智能应用方面所扮演的角色。

亚马逊云科技宣布了新的模型评估功能，包括使用大型语言模型作为评判者，以及评估整个检索增强生成(RAG)流水线，而不仅仅是单个模型。

Diego Rogeo是Cencosud公司的技术总监，Cencosud是一家在8个国家经营的主要南美零售商，他在介绍了公司及其多元化业务后，就Amazon Bedrock进行了演讲。

一张截图展示了某产品(在这个例子中是Xbox游戏机)的总结性客户评分、评论和自动生成的标签。

这款基因对话式聊天机器人理解了客户想要烹饪某物的意图，并提供了详细的回应，包括食材和做法说明，从而实现了无缝添加到购物车的功能。

演讲者强调了通过与初创公司合作并投资于它们来培养创新的重要性，尤其是在人工智能领域。

总结

在一篇引人入胜的叙述中，内容策展人深入探讨了Bedrock(亚马逊构建和扩展生成式AI应用程序的尖端平台)的变革力量。这一旅程从一个令人信服的介绍开始，强调Bedrock的使命是为开发人员提供无缝且可扩展的体验。

第一个关键点围绕着模型选择，Bedrock在提供无服务器体验方面表现出色，实现了无缝模型选择、自定义模型导入和全面的模型评估工具。这使得开发人员能够做出明智的决策并优化应用程序的性能。

第二个重要方面是Bedrock能够将企业数据无缝集成到生成式AI应用程序中。通过提示管理、知识库、微调和主动工作流等功能，开发人员可以利用他们的专有数据，确保为客户提供相关和量身定制的输出。

第三个关键要素是Bedrock致力于负责任的AI，优先考虑数据隐私、安全和合规性。通过数据隔离、防护措施以及遵守严格的监管标准等功能，Bedrock确保应用程序在道德和法律边界内运行。

在一个令人信服的结论中，内容策展人强调Bedrock坚定不移地致力于为开发人员提供卓越的体验。通过Bedrock Flows、Bedrock Studio等工具以及灵活的消费选项，开发人员可以轻松构建、迭代和推出他们的生成式AI应用程序，促进协作并加快上市时间。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。