亚马逊Confluent和Anthropic构建GenAI

亚马逊Confluent和Anthropic构建GenAI

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Confluent， Data Streaming， Business Agility， Real-Time Data， Generative Ai， Modern Data Architecture， Data Governance， Streaming Analytics， Data Warehouses， Technical Skills， Data Silos]

导读

当今企业数据架构限制了人工智能在快速、明智决策方面的潜力。在本次会议中，加入来自Confluent、亚马逊云科技和Anthropic的专家，探索如何将Confluent的可扩展数据流平台与Amazon Bedrock（一项全托管的生成式AI 亚马逊云科技服务）集成，以构建创新解决方案。了解如何在查询时集成实时上下文，通过持续处理和摄入向量数据库，这对于支持RAG的生成式AI应用至关重要。探索大规模摄取、处理和提供数据流的模式，利用Confluent的数据流平台和Anthropic的先进大语言模型，实现可信的实时数据流和安全、可扩展的AI解决方案。本次演讲由亚马逊云科技合作伙伴Confluent为您呈现。

演讲精华

以下是小编为您整理的本次演讲的精华。

在科技创新的领域，亚马逊云科技 re:Invent 2024活动展示了亚马逊云科技、Confluent和Anthropic之间的一项突破性合作，旨在革新生成式AI应用程序的开发。演讲者Pascal von Cropots、Mario和Gavin Doyle踏上了一段引人入胜的旅程，揭示了支撑这一变革性努力的复杂架构和方法论。

有79%的IT领导者认识到数据流是业务敏捷性的催化剂，为讨论奠定了基础。这一统计数据凸显了行业认识到实时可操作数据在保持竞争优势中发挥关键作用。然而，演讲者敏锐地指出，伴随这一认识而来的是管理实时管道、集成系统和确保强大安全措施等复杂性，这些都构成了重大挑战。

深入探讨阻碍企业充分利用数据潜力的障碍，演讲者阐明了内部技术技能的缺乏、数据结构的孤岛化、治理问题以及围绕生成式AI的不断提高的用户期望。为克服这些障碍，他们引入了现代数据架构的概念，这是一个旨在打破数据孤岛并满足行业日益增长需求的整体框架。

这一架构的核心是数据治理，这是确保数据安全、合规性和可访问性的关键组成部分。围绕这一核心有数据仓库、流分析和生成式AI应用程序等关键元素，所有这些都无缝集成，将数据转化为有价值的、可操作的资源。这种整体方法使组织能够跨越传统界限，拥抱数据驱动决策的未来。

演讲者强调，构建这样一个架构需要深入理解组织的具体挑战，无论这些挑战源于数据孤岛、技能缺乏、治理复杂性还是AI应用程序的可扩展性。他们强调数据作为一种区分因素的关键作用，将其从一种业务资产提升为战略优势。

Mario作为亚马逊云科技的高级合作伙伴解决方案架构师，深入探讨了创建有价值AI应用程序的复杂性，强调了理解组织的业务及其客户的重要性。他断言，数据将通用应用程序转化为满足每个企业独特需求的特定领域工具。虽然组织认识到生成式AI的潜力，但许多公司仅关注基础模型或大型语言模型(LLMs)，忽视了实现真正价值创造的关键组成部分。

根据Mario的说法，数据通过多种途径释放了生成式AI的力量，包括促进用户交互的操作数据库、存储特定领域信息的分析和数据湖，以及确保数据保持最新的实时流处理和批处理。现代数据架构无缝集成了数据集成、质量控制、隐私、合规性和安全措施，为AI创新奠定了坚实的基础。

Mario强调，专有数据使AI应用程序与众不同，因为公司可以利用其独特的数据资产用于代理、代码生成和文档摘要。组织可以通过三种关键技术优化生成式AI与专有数据的结合:检索增强生成(retrieval augmented generation)，通过外部数据增强提示;微调(fine-tuning)，使用特定领域数据创建专门模型;以及持续预训练(continued pre-training)，使用企业数据集扩展模型知识。

为了说明这种方法的威力，Mario举例说明了一家在线旅行社如何通过结合实时航班数据、客户资料、当前库存和历史偏好来生成个性化行程。这种无缝集成各种数据源的能力展示了生成式AI在专有数据的推动下所具有的变革潜力。

Mario断言，亚马逊云科技为生成式AI提供了全面的服务套件，支持非结构化、结构化、流式和向量数据。这个强大的生态系统实现了跨源集成，并确保了数据生命周期安全性，这在当今网络安全威胁加剧的时代是一个关键考虑因素。

此外，亚马逊云科技为生成式AI应用程序提供了基础设施、安全的基础模型访问和开发工具，使组织能够充满信心地创新。Amazon Bedrock是一项旗舰产品，提供对来自行业领导者(如Anthropic)的基础模型的托管访问，无需复杂编码即可进行实验、定制和代理创建。

Bedrock通过多种措施优先考虑安全性和隐私性，包括确保客户数据不会用于基础模型、保持微调模型的私密性和安全性、使用符合亚马逊云科技标准的访问控制对数据进行加密，并支持符合HIPAA、GDPR、SOC、ISO和CSA等严格标准的合规性。此外，Bedrock在基础模型中实施了安全措施，允许根据组织政策进行主题限制和内容过滤。

Amazon Bedrock的知识库提供了全面的功能，支持RAG(检索增强生成)工作流，自动集成实时和历史数据源、维护对话上下文，并提供源引用，从而减少了AI系统产生不合理或事实错误响应的“幻觉”现象。

Gavin Doyle作为以道德AI开发而闻名的Anthropic公司的应用AI主管，登台讨论了Anthropic与亚马逊云科技在高级AI应用程序方面的合作。他解释说，Anthropic是一家基础模型提供商，专注于创建安全且可解释的大型语言模型。

可解释性是Anthropic方法的核心原则，指的是理解AI系统的思维方式并使其输出可解释。Gavin概述了Anthropic在AI开发过程中遵循的五大核心支柱:可解释性、对齐性(确保模型遵循指令)、预训练、增强检索和代理编排。

Gavin强调了增强检索在生成式AI应用程序中的重要性，这往往被忽视。他指出，常见的失效模式包括由于缺失数据或查询-语料库嵌入不对齐而导致的检索性能差，后者指的是用于查询数据的机制与实际数据不一致。

为解决这些挑战，Anthropic引入了上下文检索范式，通过对每个块如何在文档中定位的总结来增强块检索。这种方法提供了关键上下文，例如某个财务结果是否涉及特定的时间范围，如一个季度或一年。通过总结每个块相关的文档，并将这些总结用作检索的嵌入，Anthropic的上下文检索技术提高了准确性和相关性。

为确保成本效益，Anthropic利用了提示缓存技术，只计算文档的tokens一次，大大减少了增量tokens的需求，使上下文检索在大规模应用时成为可行的技术。

Gavin还讨论了重新排序的重要性，建议使用允许查询对数概率的语言模型，因为这是检索过程中的一个关键步骤。他强调了使用RAG进行推理任务的价值，不仅仅是检索数据，还包括利用上下文学习(在提示中提供任务示例)和基于查询动态拉取相关示例。

随着模型的快速发展，Gavin强调围绕模型构建健壮的系统而不是优化提示的重要性。这种方法允许组织通过将来自主题专家的黄金示例附加到数据库中来扩展输出质量，而不会影响模型本身。通过将模型与提示优化过程分离，组织可以为其AI投资未来做好准备，并适应不断变化的生成式AI格局。

Pascal von Cropots随后登台讨论了Confluent在使用Amazon Bedrock为AI应用程序提供数据流方面的关键作用。他解释说，Confluent确保了跨系统的实时数据集成，打破了数据孤岛，实现了数据的一致流动。

在所展示的参考架构中，Confluent扮演着支撑作用，连接流式处理、摄取、数据湖和批处理，确保数据及时送达正确的位置。Confluent提供实时数据流的能力对于用最新上下文丰富生成式AI应用程序至关重要，这是提供准确相关见解的关键要求。

该架构展示了Confluent与向量数据库的集成，确保像Anthropic的Claude这样的对话式AI系统运行在最相关的实时信息之上。Pascal断言，这一能力使Confluent与众不同，确保数据是当前的、有上下文的，并准备好为AI决策提供支持。

Flink Inference是支持Confluent Cloud上AI应用程序的一项关键技术，通过利用Flink的SQL功能实现实时ML预测。这一创新解决方案简化了将机器学习集成到应用程序的过程，利用准确及时的数据提供即时见解，支持实时决策。

演讲者演示了如何将Flink与亚马逊云科技和Anthropic的Claude模型集成，展示了如何在Flink和模型之间创建连接、定义预设提示以及通过调用ML预测函数插入数据。这种无缝集成体现了亚马逊云科技、Confluent和Anthropic合作简化生成式AI应用程序开发的强大能力。

演讲者介绍了一种架构，其中文档或元数据被发布到主题，经过处理、分块并行处理，并使用Bedrock或Anthropic模型为每个块生成嵌入。这些嵌入和块随后被索引到矢量数据库(如MongoDB Atlas)中，实现高效检索和分析。

为促进采用，演讲者介绍了一种快速入门方式，通过生成结构化数据的摘要将结构化文档索引到矢量数据库中。这种创新方法使用户能够用自然语言查询，弥合了结构化数据和自然语言处理之间的鸿沟。

在演示的聊天机器人交互中，用户交互会生成嵌入，并从矢量数据库中检索相关文档。结合上下文和实时数据，系统会构建工程化提示，并由Anthropic的Claude处理以生成精确、有上下文意识的响应。可以对正在进行的对话进行总结，以优化语言模型性能并确保高效沟通。

演讲者强调使用Flink的原因在于其庞大的生态系统集成、实时数据处理能力、无缝模型集成、Flink SQL的易用性、速度、可靠性和可扩展性。这些特性使组织能够专注于创新，而无需管理复杂的基础设施。

Confluent与主要亚马逊云科技服务、数据仓库(如Snowflake和Databricks)以及矢量数据库(如MongoDB Atlas)的集成进一步巩固了其作为生成式AI应用程序强大推动者的地位。此外，Confluent通过亚马逊云科技对各种服务和用例的认证和验证，彰显了其交付健壮、合规解决方案的承诺。

Anthropic的模型(包括著名的Claude)可在Amazon Bedrock上使用，而Amazon是Anthropic的战略合作伙伴，不仅在Bedrock知识库等产品上进行合作，而且在硅层面也有合作，确保尖端的性能和创新。

为促进采用并赋能开发人员，演讲者提供了QR码以免费访问Confluent、参加Amazon Bedrock知识库研讨会以学习RAG与知识库，以及使用Claude在Bedrock中的快速入门指南。

总之，亚马逊云科技 re:Invent 2024活动揭开了亚马逊云科技、Confluent和Anthropic之间一项革命性合作，旨在彻底改变生成式AI应用程序的开发。通过利用亚马逊云科技服务(如Amazon Bedrock)、Confluent的实时数据流和集成能力以及Anthropic的语言模型(如Claude)，这一合作伙伴关系使组织能够释放生成式AI的全部潜力，同时确保数据治理、安全性、合规性和道德发展。这种整体方法结合了尖端技术和领域专业知识，为AI应用程序定制化、实时数据驱动以及健壮的安全性和可解释性奠定了基础。

下面是一些演讲现场的精彩瞬间：

演讲者强调企业面临的挑战，例如缺乏技术技能、数据孤岛、治理复杂性以及对生成式人工智能的期望不断提高，这些都阻碍了企业充分利用数据的潜力。

演讲者强调现代数据架构的重要性，它集成了数据治理、数据仓库、流分析和生成式人工智能应用程序，以释放数据的全部潜力，推动组织成功。

演讲者暂停，询问观众在利用实时数据进行人工智能应用时面临的最大挑战，邀请他们举手分享观点。

Confluent作为支柱，无缝连接流媒体、摄取、数据湖和批处理，实现实时数据传递，为生成式人工智能应用程序提供最新的上下文信息。

Confluent与向量数据库集成，为对话式人工智能系统(如聊天机器人)提供实时、上下文数据，确保它们运行时使用最相关、最新的信息。

总结

在瞬息万变的数字化时代，组织正在努力利用实时数据来提高业务敏捷性并充分发挥AI应用程序的潜力。这篇演讲深入探讨了克服这些障碍所需的复杂架构，强调了数据治理、流分析和生成式AI在打破数据孤岛并实现整体可扩展方法中的关键作用。

演讲首先强调，IT领导者认识到数据流是推动业务敏捷性的关键，但组织在管理实时管道、集成系统和确保安全性方面面临着重大复杂性。这些挑战加上缺乏内部技术技能、数据孤岛以及生成式AI带来的治理和用户期望日益复杂，往往阻碍了企业充分利用其数据。

为了解决这些障碍，演讲介绍了现代数据架构的概念，以数据治理为核心，确保数据安全、合规和可访问。该架构无缝集成了数据仓库、流分析和生成式AI应用程序，使组织能够打破数据孤岛、实现扩展并满足不断增长的需求。

演讲接着强调，了解特定组织的挑战(无论是数据孤岛、缺乏技术技能、治理问题还是扩展AI应用程序)是构建此类架构的第一步。最终，数据不仅仅是另一种商业资产，它是一种区别因素，而充分发挥其潜力的关键在于Confluent、亚马逊云科技和Anthropic的整合。

演讲最后呼吁组织采用这种整体方法，利用Confluent的实时数据流能力为生成式AI应用程序提供最新的上下文信息，确保对话式AI系统运行时拥有最相关和最新的信息，推动AI决策并使企业在不断变化的数字化环境中保持领先地位。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。