为生成式人工智能革新你的搜索应用

为生成式人工智能革新你的搜索应用

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon OpenSearch Service， Generative Ai， Semantic Search， Vector Embeddings， Data Preparation， Accuracy Tradeoffs]

导读

参加本次会议，了解与传统关键词搜索相比，向量搜索如何能彻底改变您企业的搜索能力。向量搜索通过实现更准确和更具上下文感知的搜索结果，在增强生成式AI应用和解决方案中发挥着关键作用。在本次会议中，探索使用Amazon OpenSearch Service实施向量搜索，了解其在提高搜索相关性、处理非结构化数据和提供个性化用户体验方面的优势。获取关于实际应用的重要见解，包括增强推荐系统和语义搜索，并学习如何更有效地解决常见的业务挑战。

演讲精华

以下是小编为您整理的本次演讲的精华。

在信息检索领域不断演进的过程中，一场深刻的变革正在兴起，这一变革由生成式人工智能(AI)和大型语言模型(LLMs)的出现所推动。这场革命由亚马逊云科技搜索服务技术总监John Handler等先驱者引领，重新定义了我们与信息互动的方式，超越了单纯的词汇匹配，拥抱了以意义为驱动的交互方式。

这一范式转变的先锋是亚马逊OpenSearch服务，这是一个由亚马逊云科技作为云服务管理的开源搜索和分析套件。OpenSearch服务具备向量搜索功能，可以在密集向量嵌入上进行近似最近邻搜索。它提供了一套全面的工具，用于数据准备、索引、查询和评估准确性、成本和延迟之间复杂的权衡，这些都是向量编码和搜索方法领域的关键考虑因素。值得注意的是，OpenSearch服务已经获得了8亿次下载，这证明了它广泛的采用和影响力。

这项技术的变革力量体现在Adobe的Acrobat AI助手这一开创性解决方案上，它让用户能够以前所未有的轻松方式从PDF文档中搜索和获取答案。Adobe的独特管道从PDF中提取文本、表格和图像数据，将内容分块为语义单元，生成向量嵌入，并将它们全部索引到OpenSearch中以实现快速检索。这种前沿方法使用户能够提出自然语言问题并获得精确答案，同时还包括源文件中的高亮显示部分，从而增强了信心和透明度。

代表Adobe的Abhijit阐明了他们实施方案的规模和功能需求，揭示该解决方案旨在为数亿用户处理数百万PDF文档而设计。索引工作流程作为关键组件，已经针对近实时性能进行了优化，确保用户可以在几秒钟内访问他们的文档。为了控制成本并适应嵌入的临时性质，Adobe采用了滚动索引策略，每小时创建新的索引，并在该时间段内将文档索引到活动的热索引中。这种方法不仅控制了成本，而且还有利于高效查询和归因生成。

Adobe实施方案背后的数字令人瞠目结舌，数百万个嵌入，每个嵌入都有相当大的规模，分布在多个区域的众多索引和分片中。吞吐量要求同样令人印象深刻，索引和搜索延迟都经过精心管理，以确保无缝的用户体验。Abhijit透露，Adobe的解决方案已经超出了最初的预期，彰显了他们方法的可扩展性和稳健性。

来自Freshworks的Shri分享了他们将OpenSearch与生成式AI相结合的创新方法。Freshworks已经从单产品公司发展成为一家面向120个国家的70，000多个客户提供多产品、多租户服务的组织。他们的架构无缝集成了词汇搜索、语义向量搜索、语言模型和其他AI组件，实现了对查询的整体理解、从多个来源检索相关信息以及生成上下文响应或执行操作。

Shri强调的一个显著用例是Freshworks的IT服务管理(ITSM)产品FreshService，在这里，代理人可以利用语义搜索和最近邻算法根据多个属性建议三个最相似的事件和解决方案。这使代理人能够快速解决问题，即使客户以不同的方式表达效果，也能理解根本原因。此外，Freshworks还采用生成式AI来丰富代理人的知识和对信息的访问，通过协同助手功能，可以分析客户的历史并提供相关见解，以帮助成功解决问题。

此外，Freshworks还开创性地使用了自主代理，实现了自助服务体验，用户可以与一个机器人进行交互，该机器人利用了客户服务和IT领域的丰富知识库。这些自主代理能够理解复杂的查询，例如从HR系统(如Workday)请求休假，并通过连接相关系统、考虑休假余额、节假日和旅行安排等因素来执行操作。

Freshworks的实施方案旨在处理数十亿次写入和读取，目前的规模为24亿次读取和超过700个专用于OpenSearch的节点。该公司的中央数据库已经存储了近1.5亿份文档，随着公司继续向上发展，这一数字预计将呈指数级增长。Shri强调，从之前的Elasticsearch解决方案过渡到OpenSearch，整体精度、性能和延迟提高了30%。

Freshworks实施方案的规模和复杂性进一步体现在其能够处理全球10，000个客户的能力上，每个客户都有不同的身份提供商、文档来源和语言支持要求。Shri强调，该公司的目标是无限扩展数据源，使用户能够实时搜索和检索来自广泛联合来源的信息，突破传统搜索引擎的局限性。

此外，Freshworks还处于开发安全和可控的行动框架的前沿，认识到在银行和旅游等敏感领域执行操作时，以负责任和受控的方式行事的重要性。Shri还强调了该公司在多智能体系统方面的开拓性工作，其中多个AI智能体无缝协作以实现共同目标，最近的主题演讲就展示了智能体协同工作寻找免费食物和预订餐厅的情况。

随着这一叙事的展开，我们可以清楚地看到，生成式AI与搜索的融合已经带来了一场范式转变，这场转变远远超出了传统信息检索的范畴。这项技术的应用范围广泛，从智能IT工单系统和自主客户服务聊天机器人，到多智能体系统和安全行动框架。

Adobe和Freshworks提供的数字和统计数据证明了这场革命的规模和影响力。从跨越多个区域的数百万个嵌入和索引，到数十亿次读写，生成式AI和向量搜索的采用程度已经达到了前所未有的水平，这都是由于人们对更自然、更直观、以意义为驱动的信息交互的无穷渴求所推动的。

下面是一些演讲现场的精彩瞬间：

演讲者解释了搜索引擎如何将用户与相关信息源连接起来，以满足他们的信息需求，无论是购买产品、查找酒店还是访问研究文献。

Jeff Bezos宣布，Amazon OpenSearch Service这一开源搜索分析和向量套件已经达到近8亿次下载，拥有数千名贡献者，该项目最近已迁移到Linux基金会下的OpenSearch软件基金会。

通过将段落分块为较小的语义单元并将其嵌入为向量，可以使用OpenSearch Service高效检索，从而实现文本摘要。

亚马逊强调了其搜索和索引系统令人印象深刻的吞吐量和低延迟，该系统已无缝扩展以应对不断增长的需求，而不会影响用户体验。

Freshworks首席执行官强调了他们在生成式人工智能领域的开拓之旅，始于2018年，并在利用多智能体框架和向量数据库来增强客户和员工体验方面领先于竞争对手。

人工智能助手展示了与企业系统(如Workday)无缝集成的能力，可以通过理解上下文并触发适当的操作来执行申请休假或进行复杂的旅行预订等任务。

生成式人工智能和语义搜索能够通过赋予数据交互以意义，从而找到相关信息、支持代表并推荐产品。

总结

在这场引人入胜的演讲中，John Handler作为亚马逊云科技搜索服务技术总监，揭示了生成式人工智能在革新搜索应用方面的变革力量。他生动地讲述了从传统的词汇驱动搜索引擎到由大型语言模型(LLM)和向量嵌入促进的意义驱动、对话式交互的新时代的演变。

第一个关键点是从词匹配到语义理解的范式转变，使用户能够更自然地表达他们的信息需求并获得与上下文相关的结果。LLM将查询和文档编码到高维向量空间中，从而实现了对语义相关内容的高效检索。

其次，John强调了数据准备在确保准确向量检索中的关键作用。实体提取、文本规范化、摘要和分块等技术对于将原始数据转换为优化的向量表示至关重要，从而提高了搜索结果的质量。

第三，他强调了在向量搜索系统中评估和权衡成本、准确性和延迟之间权衡的重要性。量化方法、近似最近邻算法和结合词汇和向量搜索的混合方法为优化性能和成本效益提供了灵活性。

最后，John强调了生成式人工智能在搜索应用中的变革潜力，实现了更自然、对话式的交互，并提供了高度相关、意义驱动的结果。他设想了一个未来，传统的搜索界面与基于聊天的助手并存，让用户以前所未有的方式与信息互动。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。