在亚马逊云上构建和发布强大的生成式AI解决方案

在亚马逊云上构建和发布强大的生成式AI解决方案

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Bedrock， Genai Solutions， Merchant Support， Shopper Experience， Knowledge Base Integration， Ai Evaluation]

导读

探索如何与Buy with Prime团队一起发布强大的生成式AI解决方案。学习在Amazon Bedrock、Connect和Lex上为使用Buy with Prime的直接面向消费者的商家构建安全、可靠和可扩展的商家支持和客户体验的最佳实践。深入了解评估和试点方法，以快速迭代提高相关性，确保最佳的客户体验。无论您是生成式AI的新手还是有经验的用户，都可以探索该团队对各种选项和框架进行的实践调查，以实现安全迭代。

演讲精华

以下是小编为您整理的本次演讲的精华。

亚马逊云科技 re:Invent 2024会议开始时，主讲人承认生成式人工智能(GenAI)技术取得了令人瞩目的进步。他幽默地谈到了微调AI模型的必要性，强调了GenAI给开发人员带来的兴奋和压倒性影响。主讲人强调，在构建健壮的GenAI解决方案时，理解每个决策背后的基本原理至关重要。

随后介绍了两位共同主讲人Ayush和Sebastian。Ayush一直是Shopper Assistant解决方案的开发先锋，而Sebastian则在推出Merchant Assistant解决方案方面发挥了关键作用。

会议接着探讨了Amazon的Buy with Prime服务如何革新客户购物体验。Buy with Prime使品牌能够在自己的网站上为购物者提供Prime送货服务，简化运营并增加收入。主讲人以购物者购买Bare Minerals产品为例，阐明了Prime送货、评级和评论的优势。

在阐述Buy with Prime对Bare Minerals业务的影响后，主讲人强调了Amazon在各种在线平台上提供Prime购物优惠的愿景。他提到了与Shopify、Salesforce和社交媒体等企业平台集成的选项，以及为喜欢自己动手的商家提供的自定义直接API选项。

Ayush接着介绍了Merchant Assistant AI解决方案，该解决方案可帮助商家更快、更精准地找到相关信息。他阐明了基于关键词搜索引擎的先前挑战，以及AI解决方案如何通过理解商家的查询并提供总结和相关回应来解决这些挑战。

Ayush分享了AI解决方案运作的示例，包括回答有关Buy with Prime定价、目录同步问题的查询，以及通过Buy with Prime Assist解决方案处理客户联系。他还强调了AI解决方案的关键要求，如利用现有知识内容、启用上下文对话和确保无缝客户体验。

Ayush接着阐述了为满足这些要求而采用的架构组件，包括用于利用现有内容的Bedrock知识库和用于启用上下文对话的Bedrock Agent。他分享了使用Bedrock知识库的关键经验教训，如优化数据源、管理爬网节奏和处理动态内容更新。

Sebastian接着介绍了AI解决方案的评估过程。他阐明了最初的手动评估方法，包括生成测试案例、让专家评分AI的回应，以及与可扩展性相关的挑战。

Sebastian介绍了三种用于自动评估的算法:基于LLM的评估、基于NLP的METEOR算法和基于词相似性的ROUGE算法。他还讨论了创建正面和负面测试案例的重要性，以评估预期的业务输出并处理恶意输入。

在可追溯性方面，Sebastian强调能够迅速在系统内定位信息以进行故障排除的重要性。他解释了请求在各个子系统中的传递过程，以及唯一请求ID和集中日志记录对于实现有效可追溯性的必要性。

接下来讨论的最佳实践是数据和客户数据处理。Sebastian强调了使用客户数据个性化AI解决方案的重要性，同时确保敏感信息不会泄露或被滥用。他解释了将客户数据物理隔离在单独的知识库中，并授权请求仅访问相关知识库的方法。

Sebastian接着讨论了改进周期，该周期涉及持续更新AI解决方案的数据和知识库，以与不断发展的业务需求保持一致。这个周期包括生成测试案例、利用专家意见评估AI的回应，并相应地更新内容。

会议还讨论了AI/LLM解决方案特有的安全威胁，包括提示注入、不安全的输出处理、过度依赖和敏感信息泄露。Sebastian解释了Bedrock AI内置的防护措施(如内容策略、主题策略、词策略和敏感信息策略)如何缓解这些威胁。

会议强调了AI/LLM解决方案备份的重要性，因为数据就是AI模型的数据库。Sebastian分享了在S3存储桶上启用版本控制并使用CLI工具将数据恢复到以前状态的方法，从而实现AI解决方案的快速恢复。

最后，主讲人总结了关键要点，强调了Amazon强大的AI/LLM生态系统、Bedrock构建端到端AI/LLM解决方案的能力，以及在成功实施AI/LLM时考虑评估、安全性和其他最佳实践的重要性。

下面是一些演讲现场的精彩瞬间：

驾驭GenAI的复杂性需要理解每一个决策背后更深层次的“为什么”，以构建健壮的解决方案。

演讲者概述了将要涵盖的关键主题，包括Buy with Prime、GenAI解决方案、GenAI采用的影响、开发过程以及最大化GenAI影响力的最佳实践。

Bare Minerals无缝集成了亚马逊Prime会员权益，增强了美容爱好者的购物体验。

详细解释了请求通过各个层面的旅程，包括路由、授权、服务、编排、知识库查询、个性化API调用、输出合并以及最终针对恶意内容的防护检查。

揭示了大型语言模型(LLM)的持续改进周期，以确保响应准确、及时，并与最新的业务状态保持一致。

演讲者强调，开发大型语言模型(LLM)解决方案需要仔细考虑评估、安全性和其他关键方面，以确保其成功。

总结

在这个引人入胜的会议中，演讲者们深入探讨了生成式人工智能(GenAI)解决方案的变革力量，展示了他们在Buy with Prime和Merchant Assistant平台上的创新工作。他们揭示了GenAI如何重塑客户购物体验，并为直接面向消费者(DTC)的企业推动创新。

演讲者强调了他们关注的关键要求，例如利用现有知识内容、支持情境对话以及确保无缝客户体验。他们分享了架构方法的见解，包括使用Bedrock知识库作为数据源，以及Bedrock智能体用于情境理解。

演讲者强调了评估、可追踪性和安全性的重要性，概述了最大化GenAI解决方案影响力的最佳实践。他们讨论了自动评估算法、请求可追踪性技术以及健全的防护措施，以缓解诸如提示注入和敏感信息泄露等安全威胁。

在整个会议过程中，演讲者强调了迭代改进周期、数据备份以及构建健壮且具有影响力的GenAI解决方案的整体方法的重要性。他们实用的见解和经过验证的策略旨在让与会者能够发挥GenAI的全部潜力，同时应对其复杂性和挑战。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。