用ElastiCache和Aurora构建聊天机器人

用ElastiCache和Aurora构建聊天机器人

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon ElastiCache， Context Caching， Embedding Caching， Vector Store Integration， Serverless Architecture， Bedrock Agents]

导读

在本次会议中，学习如何利用Amazon Aurora作为向量存储和Amazon ElastiCache Serverless作为聊天历史存储，来构建一个无服务器优先的聊天机器人应用。探索如何利用这些服务创建具有上下文感知能力的聊天机器人。深入了解架构模式、实施策略和真实世界的使用案例。在此过程中，获取有关优化聊天机器人解决方案的性能、可扩展性和成本效益的见解。无论您是开发人员、架构师还是决策者，本次会议都将为您提供构建前沿、无服务器驱动的聊天机器人应用所需的知识。

演讲精华

以下是小编为您整理的本次演讲的精华。

演讲者首先强调，在与聊天机器人互动时，为客户提供无缝体验的重要性，尤其是在旅游业，任何延迟或脱离都可能导致客户和收入的损失。她强调，2023年，公司正在探索聊天机器人的概念验证(PoC)，到2024年，聊天机器人已成为基本要求，企业中检索增强生成(RAG)的概念变得更加普遍，趋势正朝着自主决策代理发展。

演讲者提出了一个假设场景，观众是一家名为AZ Flights Incorporated的公司的一部分，负责构建一个旅行助理聊天机器人，以优化航班预订体验，并通过提供个性化旅行推荐来拓展业务。该公司拥有丰富的信息，包括客户360数据、航班信息、酒店详情、促销活动和旅客资料，这些信息存储在像Amazon Aurora PostgreSQL这样的关系数据库中。

最初的架构涉及用户提出问题，由Amazon Bedrock等大型语言模型(LLM)提供通用响应。为了解决网络断开时会丢失会话上下文的问题，演讲者引入了使用Amazon ElastiCache的聊天历史记录概念，使聊天机器人能够检索以前的对话并提供定制响应。演讲者强调，ElastiCache提供微秒级延迟，消除了与数据库的往返，并通过缓存常见问题和答案降低了运营成本。

下一步是上下文化，聊天机器人将从ElastiCache中检索用户偏好，并根据用户的兴趣提供响应，例如为对户外和海滩活动感兴趣的人推荐浮潜活动。然后，演讲者介绍了检索增强生成(RAG)，其中聊天机器人将使用Amazon Aurora PostgreSQL作为向量存储来增强提示，根据当前票价、常见问题等相关信息提供定制响应。

Amazon ElastiCache Serverless是一种完全托管的缓存解决方案，与Redis、Memcached和Redis开源引擎兼容，能够自动扩展并处理需求高峰。演讲者强调，ElastiCache Serverless可以处理需求高峰，例如在11点钟有200名乘客因航班取消而疯狂寻找酒店的情况，无需手动规划容量。

对于向量存储，演讲者强调了Amazon Aurora PostgreSQL与pg_vector扩展，它允许存储和索引高维向量以进行相似性搜索。讨论了使用具有自动扩展、缩减到零功能和通过IO优化存储配置节省成本的Aurora Serverless v2的好处。演讲者提到，客户在使用Aurora Serverless v2的IO优化存储配置时，成本节省高达40%。

演讲者介绍了Amazon Bedrock Knowledge Base，它提供了一个完全托管的RAG管道，用于摄取数据源、分块、向量化并将嵌入存储在像Aurora PostgreSQL这样的向量存储中。介绍了与Bedrock Knowledge Base无缝集成Aurora Serverless作为向量存储的新Quick Create选项，允许用户在几分钟内设置RAG管道，而这个过程以前需要几天的规划。

其他讨论的选项包括Amazon Kendra，这是一个完全托管的无代码解决方案，用于构建聊天机器人和问答系统;以及Langchain，这是一种灵活的DIY方法，具有第三方集成，用于大规模构建大型语言模型(LLM)应用程序。

演讲者提出了两种架构模式:使用ElastiCache和Aurora Serverless进行上下文缓存以实现快速数据检索，以及使用ElastiCache缓存嵌入以提高性能并降低语义搜索成本。演讲者提到，使用ElastiCache缓存嵌入可以显著提高搜索速度并降低成本，因为嵌入是根据单词按每千个输入和输出标记收费的。

现场演示展示了旅行助理聊天机器人的实现，演示了如何使用ElastiCache缓存聊天历史记录、用户偏好和常见问题，以及使用Aurora PostgreSQL作为向量存储进行上下文检索。演示说明了聊天机器人如何根据用户的偏好、预算和以前的互动提供定制响应，利用ElastiCache的亚毫秒检索时间(演示中为0.45毫秒)和Aurora PostgreSQL的上下文信息(第一次查找需要44毫秒)。

演讲者随后介绍了Amazon Bedrock Agents，作为基于RAG架构的下一步演进，能够通过将复杂的多步骤任务分解为一系列操作来处理这些任务。这些代理可以访问知识库，并可以从外部源检索信息和基于OpenAPI规范执行Lambda函数。代理遵循思考、观察和行动的过程，反复执行计划，直到满足用户的请求。

Bedrock Agent的演示展示了它能够在3000美元的预算内为毛伊岛规划一个为期5天的美食之旅。代理将这个复杂的任务分解为多个操作，如检查航班可用性、在预算范围内寻找酒店以及根据用户偏好识别餐馆。它从ElastiCache中检索聊天历史记录、用户偏好和缓存的嵌入，并利用Aurora PostgreSQL作为向量存储进行上下文检索。代理基于OpenAPI规范执行Lambda函数来执行特定操作，如检查航班可用性和进行预订。通过思考、观察和行动的迭代过程，代理无缝地处理了多步骤任务，并提供了详细的行程安排，包括航班预订、酒店预订以及基于用户偏好和预算的个性化推荐。

演讲者还强调了客户支持聊天机器人的用例，用于处理常见问题(FAQ)和关于产品或服务的重复问题，减轻人工劳动并提供一致的无情绪响应。另一个提到的用例是零售助理，用于提供个性化产品推荐，类似于Amazon.com上的体验。医疗保健行业也被提及为一个新兴的用例领域，患者护理助理可以回答有关病史和症状的问题，尽管数据安全问题被认为是这一领域的一个挑战。

总之，这次演讲涵盖了使用Amazon ElastiCache、Aurora PostgreSQL、Bedrock Knowledge Base、Kendra和Bedrock Agents构建聊天机器人的架构和实现细节。它强调了缓存、向量存储和自主决策代理在为客户提供无缝和个性化体验方面的重要性，涉及旅游、零售和医疗保健等各个行业。现场演示展示了这些服务的实际能力，说明了它们如何被利用来优化航班预订体验、提供个性化旅行推荐、高效处理复杂的多步骤任务，以及通过缓存和优化的存储配置提供亚毫秒响应时间和节省成本。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技 SolaceHere 是一种可动态扩缩容的缓存服务，被强调为应对需求突增(如航班取消导致酒店预订激增)的解决方案。

强调了 LangChain 在构建大规模 LLM 应用程序时提供的灵活性和控制力，同时承认了与第三方提供商集成可能带来的运营开销和潜在风险。

ElastiCache 可以通过缓存向量嵌入来显著提高语义搜索的性能并降低成本，从而无需为常搜索的词重新生成嵌入。

演讲者解释了一种无服务器架构，包括 API 网关、ElastiCache、Lambda 和 Amazon Postgres，用于处理缓存嵌入和高效检索缓存搜索查询的全球峰值工作负载。

解释了用于实现由 Claude(Bedrock 的语言模型)驱动的聊天机器人上下文感知提示的亚毫秒延迟的架构和缓存机制。

该 AI 助手可以无缝完成旅行预订，检索个人信息、信用卡详细信息和旅行偏好，提供对话式和个性化的体验。

总结

借助亚马逊云科技服务打造无缝聊天机器人体验

在当今快节奏的世界中，客户期望从聊天机器人获得即时和个性化的响应。本文探讨了如何利用Amazon ElastiCache和Aurora PostgreSQL等亚马逊云科技服务构建高性能、经济高效的聊天机器人，为用户带来无缝体验。

缓存在优化聊天机器人性能方面发挥着关键作用，可提供微秒级延迟并降低运营成本。Amazon ElastiCache是一种全托管缓存解决方案，可实现亚毫秒响应时间，轻松应对需求高峰。通过缓存常见问题和嵌入式，ElastiCache可提高搜索速度并降低生成嵌入式的相关成本。

Aurora PostgreSQL配合PG向量扩展，可作为强大的向量存储，实现对表示自然语言数据的高维向量的存储和检索。其无服务器配置Aurora Serverless v2可根据需求自动扩展，提供成本节约和可预测的性能。将Bedrock知识库与Aurora PostgreSQL集成，可简化架构，实现向量和事务数据的共存。

为构建生产级旅行助手，本文探讨了聊天机器人从简单问答到基于任务的交互的演进过程。Bedrock Agents是一种用于多步骤任务执行的编排器，可将复杂查询分解为一系列操作，利用外部来源、内部数据库和Lambda函数。这种代理工作流可实现无缝预订体验、个性化行程规划和上下文感知响应。

通过结合缓存、向量存储和代理工作流的强大功能，亚马逊云科技使开发人员能够创建可提供闪电般快速、个性化和上下文感知响应的聊天机器人，确保在竞争激烈的旅游业中获得客户满意度和留存率。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。