从炒作到影响：构建生成式 AI 架构

从炒作到影响：构建生成式 AI 架构

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon Bedrock， Generative Ai Architecture， Foundation Models， Data Cloud Strategy， Responsible Ai Development， Cloud-Based Ai]

导读

生成式 AI 代表当今公司运营方式的范式转变。生成式 AI 使开发人员能够重新构想客户体验和应用程序，同时几乎改变了每个行业。企业正在迅速创新，创建正确的架构，用于安全、经济和负责任地扩展生成式 AI，从而实现业务价值。了解领导者如何实现数据基础的现代化，选择行业领先的基础模型，并在专用加速器上进行部署，充分发挥生成式 AI 的潜力。

演讲精华

以下是小编为您整理的本次演讲的精华。

科技世界正在经历变革性的转变，以生成式人工智能(generative AI)为先锥。这项尖端创新引起了我们的集体想象力，展现了其在创建图像、视频、撰写故事，甚至生成代码方面的非凡能力。正如Adam之前敏锐地观察到的那样，生成式人工智能为所有客户群体带来了广阔的机遇，有望从根本上重塑世界、企业、消费者以及两者之间的所有人的运作方式。

虽然围绕生成式人工智能的炒作是有形可感的，但本次会议的目标是将这种炒作转化为公司如何构建生产就绪架构以实现创新的真实影响。我们已经达到了生成式人工智能的关键临界点，这是由于数据的大规模扩散、高度可扩展的计算能力以及机器学习(ML)技术(如transformers、视觉transformers和扩散模型)的进步所推动的。

传统的机器学习模型虽然能够将简单的输入映射到简单的输出，但其范围有限。然而，深度学习开启了一个新时代，使得能够将复杂的输入(如视频和图像)映射到相对简单的输出。尽管如此，传统机器学习需要昂贵且手动的数据准备、数据标注和模型训练，才能为单一特定任务生成模型。

相比之下，生成式人工智能可以利用大量数据以更高级的方式捕获和呈现知识，将复杂的输入映射到复杂的输出。驱动生成式人工智能应用的大型模型(称为基础模型(FMs))是由基于transformer的神经网络架构驱动的。该架构使模型能够在大量未标记数据上进行预训练，以便可以直接用于各种广泛任务，并且可以通过相对少量的数据轻松调整以适应特定领域或行业。

与这些基础模型的交互是一个简单的过程，由提示(prompts)来促进。提示是清晰的描述性指令，用于指导模型生成所需的内容，就像一个新的用户界面(UI)一样。当客户构建生成式人工智能架构时，有五个核心设计原则产生了真正的影响:

1. 许多客户发现生成式人工智能比他们想象的要简单，他们的开发人员能够在没有任何专门的ML专业知识的情况下快速上手运行。
2. 客户渴望选择、更大的创新、更好的体验、更个性化的体验和更大的业务影响。
3. 您的数据是您的差异化优势，您的数据云战略对于生成式人工智能战略至关重要。
4. 在考虑安全性和负责任的人工智能时，安全性应该始终是首要任务。
5. 没有云就没有生成式人工智能。

Amazon Bedrock是一项全托管服务，提供高性能基础模型的选择。使用Bedrock，客户只需访问单个API，无需管理基础设施，开发人员只需指向并访问单个API，即可轻松构建和扩展AI应用程序，使用一系列基础模型。Bedrock还通过简单地指向Amazon S3中的一些标记数据示例，简化了为特定任务定制私有模型的过程。它支持检索增强生成(RAG)作为一种利用数据与基础模型相结合以生成定制高质量输出的方式。

Bedrock现在支持能够实际执行多步骤任务的代理，我们放入Bedrock的数据都是加密的，您的内容和数据都不会被用于改进实际的基础模型。我们也不会与第三方提供商共享内容和数据。

Bedrock提供了几种功能来支持安全性和隐私要求，包括实现HIPAA资格和GDPR合规性。您在Bedrock中的数据始终在传输和静态时都是加密的，您实际上可以使用自己的密钥对数据进行加密。您可以使用Amazon Web Services Private Link与Amazon Bedrock建立私有连接，在不暴露您的流量给互联网的情况下，将基础模型与您的Amazon VPC连接。

AI 21 Labs的联合首席执行官兼联合创始人Ori Goshen分享了他们如何开创最先进的语言模型和架构系统，以改革各行各业。AI 21 Labs的使命是构建可靠且强大的人工智能系统，为企业和专业人士赋能。他们的模型Jurassic(在Amazon Bedrock上提供Ultra和Mid版本)用于文本生成、问答、摘要和分类。

例如，一家领先的体育零售商使用Jurassic生成具有自己独特语气、长度和目的的定制产品描述。通过Bedrock访问AI 21 Labs的模型非常简单，只需更改模型ID和提示，就这么简单。

AI 21 Labs还提供了超越大型语言模型(LLMs)的特定任务模型，可以处理RAG输入、输出验证和评估等复杂性。这些模型专为特定用例(如基于组织数据的上下文问答)而设计，内置功能可以验证答案，确保准确、全面和有根据的响应。Ori强调了”没有验证就没有生成”的重要性，以及特定任务模型的易用性，它们接受文本输入而不是提示，使它们更安全，更易于生产用例。

Ori分享了AI 21 Labs如何为一家数字优先银行1.0构建基于Contextual Answers模型的聊天机器人解决方案的示例。基本流程是客户将查询输入到聊天机器人中。Jurassic模型然后对查询中的问题进行分类和提取，转换为结构化对象。系统然后执行语义搜索以识别最相关的信息。这可以通过Amazon Kendra或其他向量搜索引擎来完成。用户的问题和检索到的数据被发送到我们的Contextual Answers模型。然后，该模型根据检索到的数据生成答案。这就是该模型如何确保答案实际上是基于客户的银行信息，而不是一般知识。在Contextual Answers模型生成答案后，Jurassic LLM会将其重新表述为多轮响应，并将其传回给用户。

Ori强调了AI 21 Labs与亚马逊云科技之间的密切关系，使客户能够利用生成式人工智能功能，同时将安全性和隐私放在首位。Amazon Bedrock和SageMaker JumpStart使公司能够访问AI 21 Labs的模型，而无需离开其亚马逊云科技环境或管理基础设施。各种模型为客户提供了质量、成本和延迟之间的平衡和选择。亚马逊云科技和AI 21共同提供大规模一致的推理工作负载和保证的吞吐量。

数据作为差异化优势的重要性不言而喻，强大的数据基础至关重要。现代数据战略必须具有可扩展性、灵活性(以解决各种用例)并支持未来项目。亚马逊云科技提供了一套全面的工具来支持端到端的数据之旅，投资于数据服务将为客户在生成式人工智能方面带来好处。

尽管基础模型具有广泛的能力，但它们并不了解您的组织和客户的最新私有或特定知识。客户希望能够将强大的基础模型与自己的数据相结合，有三种主要方法可以将自己的数据与基础模型相结合:您可以构建自己的模型(耗时耗力，但一些组织可能会选择这样做以扩展其私有信息的独特性质)。然后是微调，允许您能够采用更大的预训练基础模型，并根据自己的数据对其进行调整，从而产生新的修改后的模型。通过微调轻松定制预训练模型的能力是一个游戏规则改变者，它大大加快了速度。因此，过去需要多名科学家或从业人员花费很长时间才能为不同任务生成多个模型，现在您只需使用一个大型模型并使用这种微调过程即可实现相同目标。

最后，您可以直接使用基础模型及其新的上下文学习技术，如RAG。这种新方法通过动态从数据库或文档中检索相关信息来增强生成的响应。RAG使基础模型对您特定的领域和组织更加了解，帮助您生成更准确、更相关的响应。由于我们知道提示中使用了哪些数据，因此我们可以在生成的响应中引用它们，从而使这些模型的输出更加透明。

客户存储RAG数据的主要方式是通过您可能听说过的向量嵌入。向量嵌入只是一种将单词翻译成数字以捕获其含义和关系的花哨说法。虽然我们人类可以理解单词的含义和上下文，但计算机当然只理解数字。虽然向量嵌入对于基于机器学习的应用程序并不新鲜，但它们在未来的重要性正在迅速增长。这就是为什么我们现在在几个数据服务中提供向量嵌入支持，如OpenSearch和Amazon Kendra。

虽然基础模型非常强大，并且对自然语言有着强大的理解能力，但它们仍然需要人工编程才能完成诸如预订航班或处理保险理赈等复杂任务。原因在于，开箱即用的基础模型无法执行特定操作来满足用户请求。这就是代理的用武之地 - 您现在可以使用代理来使基础模型完成复杂任务。代理可以通过动态调用公司系统和API，执行创建广告活动、准备纳税申报和管理库存等复杂业务任务。全程托管的代理扩展了基础模型的推理能力，能够分解任务、创建编排计划，并执行该编排计划。

亚马逊云科技致力于人工智能的安全和负责任的发展，采取以人为本的方法，优先考虑教育、科学和客户。Francesca宣布了Amazon Bedrock的防护预览版，允许实施保护措施，以提供符合公司政策和原则的相关和安全的用户体验。通过防护，您实际上可以实施保护措施，以提供符合公司政策和原则的相关和安全的用户体验。防护有助于设置主题和内容过滤器，从用户与应用程序之间的交互中删除不当或有害内容。

来自Itaú的首席技术官Moses Nasimantho分享了他们如何安全负责任地使用数据来转型业务。Itaú是一家百年历史的组织，拥有超过7000万客户，近10万名员工，是拉丁美洲最有价值的品牌。Itaú拥有双位数的数据存储量，可以存储和使用这些数据来为客户带来利益。

Itaú创建了一个数据网格平台，在整个组织中实现了数据治理联邦，并实现了8PB的数据存储，数以千计的生产者和消费者，采用速度令人难以置信。他们设计了现代化架构，整合了整个组织的客户数据，利用数据网格架构和数据治理、安全和隐私的控制层。控制层利用Amazon Glue和Amazon Lake Formation进行元数据管理、治理和安全。在图的左侧，Itaú开发了一个工具包，可以部署在交易应用程序中，而不会影响性能，但如果需要，可以实现近乎实时的数据集成，使用Amazon Web Services Glue Jobs、Amazon EMR和Amazon Redshift等解决方案进行批量处理。在右侧，Itaú创建了一个流程，将数据安全工作流集成到每个业务领域，使其能够使用Amazon Athena和Amazon QuickSight等工具开箱即用地进行分析和探索。

Itaú开发了Yara MS平台，提供框架和工具来连接数据科学家的整个生命周期，大量利用SageMaker的功能。在构建MS平台时，他们构建了架构以创建可扩展的生成式AI平台，将设计分为三个主要组件:控制层、数据服务和应用程序租户。

Itaú已经在利用生成式AI进行创新，例如在其法律部门使用生成式AI来解释和分类每月超过70，000个流程，准确率达99%，为投资客户提供一种工具来了解商业事件如何影响他们的投资组合，并使用生成式AI来识别和实施优化亚马逊云科技资源的机会，在某些情况下预计成本将减少40%。

云计算对于生成式AI来说是不可或缺的，亚马逊云科技提供了跨32个地理区域102个可用区和450个边缘节点的全球云基础设施。亚马逊云科技投资了定制硅，包括Inferentia2实例，推理性能比任何其他可比EC2实例高出40%，Trainium1实例可节省高达50%的训练成本，以及即将推出的Trainium2芯片，用于高性能基础模型训练，Trainium2将为下一代EC2 Ultra集群提供动力，可提供高达65艾克萨级的总计算能力。

亚马逊云科技生成式AI创新中心正在与客户和合作伙伴深入合作，利用Bedrock等工具加速成功，并提供专家从业人员、数据科学家和数百个行业用例，帮助快速将生成式AI投入生产。

来自宝马集团的车载架构主管Jens Cole博士分享了他们的云架构，以及他们如何构建世界一流的生成式AI能力来扰乱客户体验和提高开发人员的生产力。宝马的热情在于为客户提供优质体验，定义数字服务以使驾驶体验更加愉悦和令人愉快，并提供个性化和智能体验，同时确保数据隐私。

使驾驶体验更加愉悦的一个很好的例子是，宝马如何在i7车型的后排座椅上使用Amazon Fire TV。另一个例子是由Alexa驱动的宝马智能个人助理，它为客户提供了在车内享受和使用所有功能的能力，同时可以专注于道路，因为他们可以通过语音控制所有功能。

宝马在全球拥有近2000万辆联网车辆，其中超过600万辆可完全通过空中升级，这在汽车行业是标杆。没有其他汽车制造商拥有比宝马更高的联网车辆或更大的联网车队。总的来说，这2000万辆车辆每天产生120亿次请求，就像现在每秒已经有14万次请求。这12亿次请求是输入给1000多个微服务的，总的来说，宝马每天产生110TB的流量。宝马在确保99.95%的可靠性的同时实现了这一点，随着即将在两年内上市的Neuer Klasse架构，这些数字将会增加一倍。

为了应对不断优化后端、提供让客户满意的服务、提高质量、可持续性和可靠性的标准，同时管理或降低成本的挑战，宝马建立了一个推动自动化的飞轮。然而，这个过程是不可扩展的，导致宝马训练并构建了一个生成式AI机器人来解决瓶颈问题。

该机器人可以向用户解释每个发现，包括补救措施，并提供Python或Terraform代码来提供解决方案。Jens演示了机器人的实际操作，展示了它如何检测和解决EC2实例利用率不足的问题，提供解释、代码片段以及自动修复问题的能力。

该机器人的架构是一个完全无服务器的托管架构，托管在亚马逊云科技上宝马的托管账户中，以确保数据隐私。机器人使用多代理结构，针对不同任务使用不同的模型，允许模型交换和更新。它还利用RAG来存储和访问亚马逊云科技文档、宝马最佳实践和其他文档，以获取解决方案和补救措施。

该机器人的好处包括将云治理扩展到宝马组织的级别，支持DevOps团队，促进治理工作流程，让他们专注于业务逻辑，促进组织内的持续学习，并且易于维护和扩展。

Jens表示，该机器人证明了生成式AI可以实现炒作，因为它已经为宝马带来了巨大的影响。他展望了宝马集团在整个价值链上使用人工智能来改进工作流程和产品，还有更多内容即将推出。

总之，生成式AI处于技术变革的前沿，这种变革是由数据、计算和机器学习技术(如transformers、视觉transformers和扩散模型)的进步所推动的。公司正在构建生产就绪的架构，利用Amazon Bedrock等服务和AI 21 Labs等合作伙伴的专业知识来实现创新。云计算、数据、安全性和负责任的AI发展是成功的生成式AI战略的关键组成部分。来自Itaú的真实案例，拥有超过8PB的数据和数以千计的生产者和消费者，利用亚马逊云科技服务如Glue、Lake Formation、EMR、Redshift、Athena和QuickSight，以及来自宝马集团的案例，拥有2000万辆联网车辆，每天产生120亿次请求和110TB的流量，使用Amazon Fire TV和Alexa来增强驾驶体验，展示了生成式AI在推动业务转型和改善客户体验方面的影响，同时确保可靠性和可扩展性。

下面是一些演讲现场的精彩瞬间：

现在，他理解人们对生成式人工智能存在很多炒作，因此他今天的目标是将一些炒作转化为公司如何构建生产就绪架构并实现创新的真实影响。

亚马逊云科技通过利用海量数据并确保数据隐私，为客户提供个性化和智能化的体验，例如根据车辆充电状态、驾驶习惯等优化充电路线，展现了优质服务的特点。

亚马逊云科技公司展示了如何通过自动化流程来优化和修复其复杂的后端系统，并突破了传统方法的瓶颈。

在这一重要时刻，演讲者介绍了机器人的无服务器托管架构，强调了其节省成本、按需提供服务以及确保数据隐私的优势，这对宝马集团来说是一个重大突破。

亚马逊在reInvent 2024大会上介绍了其利用检索增强生成技术来持续更新亚马逊云科技服务文档的创新方法，确保文档与不断发展的服务保持同步。

在这一刻，演讲者阐述了云端机器人带来的四大好处:有助于扩大云端治理规模、支持开发运维团队、促进持续学习、以及易于维护和扩展。

宝马集团展示了他们如何利用生成式人工智能来优化工作流程和产品，这是该公司长期以来在人工智能领域的成就之一。

总结

这篇演讲深入探讨了生成式人工智能(Generative AI)的变革性影响，强调了它革新行业和推动创新的潜力。它探讨了推动这项技术发展的进步，例如数据的激增、可扩展的计算能力以及像Transformer这样的深度学习架构。演讲者强调通过像Amazon Bedrock这样的服务，可以轻松将生成式人工智能集成到应用程序中，它提供了高性能的基础模型和定制化能力。

演讲强调数据是差异化的关键，需要一个健全的数据策略来有效利用组织数据。它讨论了诸如微调和检索增强生成(RAG)等方法，将基础模型与专有数据相结合。安全性和负责任的人工智能开发被视为最高优先事项，通过防护栏和加密等功能确保安全和道德的部署。

演讲还展示了客户成功案例，包括AI21实验室为准确和经济高效的文本生成开发的任务特定模型，以及宝马利用生成式人工智能进行云治理和工作流程优化的创新应用。总体信息鼓励企业在亚马逊云科技上采用生成式人工智能，利用其全面的服务和基础设施来推动创新并改造应用程序。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。