Swami Sivasubramanian 博士主题演讲

Swami Sivasubramanian 博士主题演讲

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， SageMaker， Model Training， Generative Ai， Data Analytics， Machine Learning， Ai Applications]

导读

加入亚马逊云科技人工智能和数据副总裁Swami Sivasubramanian博士的讨论，了解如何利用强大的数据基础为您的客户创造创新和差异化的解决方案。聆听客户演讲者分享真实案例，了解他们如何利用数据支持各种用例，包括生成式人工智能，以创造独特的客户体验。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年的亚马逊云科技 re:Invent大会上，亚马逊云科技人工智能和数据副总裁Swami Sivasubramanian博士发表了一场引人入胜的主题演讲。Swami首先回顾了过去这一年的重大意义，这一年里，每个行业的每个组织都在应对颠覆性挑战，迅速创新已成为新常态。

Swami的演讲深入探讨了人类创新的历史，将当前的生成式人工智能时代与航空史上的里程碑式突破——1903年Wright兄弟的首次飞行进行了对比。他巧妙地阐述了这12秒钟的飞行并非孤立发生，而是几个世纪以来技术进步的集大成。从Leonardo da Vinci为人类飞行奠定的概念基础，到早期固定翼飞机设计将升力和推进力分离的概念，以及首架人力驱动飞机展示了动力飞行的潜力，一系列滑翔机实验为Wright兄弟提供了关于升力和阻力的关键数据。Swami强调，所有这些成就的汇聚，加上材料科学、制造业和内燃机的创新，最终实现了动力飞行。尽管Wright兄弟无法独享12秒成功的全部功劳，但Swami认可了他们作为整合者的角色，在前人的基础上进行创新。

Swami随后作出了一个引人注目的比喻，认为当今时代正处于一个类似的汇聚点，即生成式人工智能。这个新的人工智能创新时代将几十年来的研究和科学进步融汇于一身，从最早的人工神经网络感知器模型，到反向传播算法使多层模型的高效训练成为可能，再到发现无监督预训练的巨大潜力，使人工智能能够从无需为每个任务标注的数据中学习，以及革命性的transformer架构彻底改变了自然语言处理。

然而，Swami强调，单凭这些发现还远远不够。正是海量数据集和云端提供的专用计算资源的汇聚，为人工智能的蓬勃发展创造了完美条件。他宣称，这种汇聚已经引发了生成式人工智能的临界点，新工具和用户界面正以前所未有的速度推动广泛采用，提高效率并释放每个人的创造力。

Swami举例说明，客户服务代表正在利用人工智能起草个性化的客户回复，营销人员正在大规模生成吸引人的广告文案和图像，开发人员正在利用人工智能助手减轻端到端软件开发过程的繁重工作。在回顾使生成式人工智能成为可能的汇聚时，Swami不禁回想起他在亚马逊18年的旅程以及亚马逊云科技的创立。

Swami回顾了他那种不懈的好奇心和解决实际客户问题的内在愿望，虽然当时并不知道实验会通向何方。他讲述了这一旅程中所交付的创新成果，从S3的可扩展基础设施，到DynamoDB的数据库突破、EMR和Redshift的可扩展分析，以及SageMaker和Vertara实现了机器学习的民主化。他强调，每一项创新都建立在上一项创新之上，随着客户用例的不断演进，为客户逐步释放了更多价值。

Swami举例说明，客户如Intu利用S3在亚马逊云科技上构建了数据湖，使用Amazon Athena、EMR和Glue进行分析，并将Amazon SageMaker作为其机器学习战略的核心要素。他还提到了通用电气医疗保健公司，利用S3、Redshift和SageMaker的强大功能，为其医疗用例运行分析和机器学习工作流。

Swami认识到，随着越来越多的客户希望在多个用例中利用类似的数据集，他们不希望在多个服务之间切换来完成工作，因此这些服务的广度和深度对于客户扩展其数据和机器学习相关项目至关重要。亚马逊云科技看到了一个巨大的机会，通过整合大数据、分析、机器学习，以及现在的生成式人工智能，创建一种新的统一体验，加速工作流程并增强协作。

正是在这种背景下，Swami宣布Matt已经分享了下一代SageMaker如何成为所有数据、分析和人工智能工作负载的中心。这种新体验将亚马逊云科技在大数据、快速分析、机器学习、模型开发和生成式人工智能方面的关键经验融合到一个统一平台中。Swami强调，这种整合不仅仅是将一堆工具组合在一起，而是多年工作、无数客户对话以及亚马逊云科技各团队集体专业知识的集大成。

虽然对为客户带来这种新体验感到兴奋，但Swami保证这并不意味着会放慢对SageMaker AI的功能增强，客户已经熟悉并喜爱的训练能力将继续得到提升。他解释说，SageMaker AI代表了数据和机器学习领域另一种创新的汇聚，建立在几十年的神经网络研究基础之上，首次使深度学习变得更加易于访问和可扩展。它是计算能力、内存、分布式系统和用户体验设计方面突破的集大成。

Swami强调，SageMaker AI提供了工具和工作流程，从数据准备到创作机器学习模型、训练、部署和可观察性，消除了机器学习和分析生命周期中的繁重工作，将所有这些工具集中在一个地方。他举例说，成千上万的客户正在使用SageMaker AI训练和部署他们的基础模型及其数据。

自去年以来，Swami宣布亚马逊云科技已经发布了140多项新功能，帮助客户更快、更高效地构建模型。然而，随着生成式人工智能的出现，他承认客户需要新的工具和功能来支持训练和推理这些具有数十亿、数百亿甚至数万亿参数的大型模型。

Swami解释说，构建和训练这些大型基础模型是复杂的，需要深厚的机器学习专业知识。它涉及收集大量数据、创建由多个机器学习加速器组成的大型集群、在这个集群上分布式训练模型，并经常停止检查模型是否收敛，必要时进行适当的修正。在这个漫长的过程中，如果某个硬件加速器发生故障，就需要人工修复这些问题，增加了训练过程中的繁重工作。

为了解决这一挑战，Swami介绍了去年推出的SageMaker HyperPod。HyperPod具有先进的恢复能力，可确保集群在整个堆栈中自动从故障中恢复，具有快速检查点和主动计算资源管理功能。Swami强调，HyperPod已成为客户训练基础模型的首选基础设施，领先的初创公司如Writer AI和Perplexity，以及汤森路透和Salesforce等大型企业都在利用HyperPod加速模型开发。

然而，随着这一领域发展迅速，规模以前所未有的速度增长，Swami承认，在模型训练方面，亚马逊云科技目前正面临一个关键的拐点。随着这些模型变得越来越复杂，在计算资源、能源消耗和数据质量方面出现了前所未有的挑战。目前训练具有数十亿、甚至即将达到万亿参数的大型模型的范式正推动亚马逊云科技探索更高效的架构和训练方式，因为传统的扩展技术正接近其物理和经济限制，需要从根本上重新思考方法。

Swami随后举了一个典型的例子来说明客户面临的挑战。假设需要使用加速器训练一个大型语言模型，总共需要30天。由于实例需求量很大，客户通常需要在一个较长的时间窗口内，跨多个可用区和区域搜索可用容量。一旦获得了这些容量(通常是不连续的块)，他们就必须管理这些块、保存和恢复检查点，并将训练数据移动到获得容量的可用区和区域附近。

Swami提出了一个反问句:“如果你能定义计算需求和期望的训练时间，然后让SageMaker处理其余部分，那不是很好吗?”这让他介绍了SageMaker HyperPod Flexible Training Plans，他形容这是一项令人难以置信的功能。通过这个功能，客户可以快速创建一个训练计划，自动预留容量并设置集群，创建满足数据科学团队训练模型需求的模型训练作业。

HyperPod建立在易于扩展的模块化架构之上，根据客户的时间线和预算制定最佳训练计划。在Swami提供的示例中，HyperPod会呈现单独的时间片段和Availability Zones以加速模型准备，并通过高效的检查点和恢复功能，自动处理任何实例中断，帮助继续训练而无需人工干预。在动态的容量环境中，Swami宣称这一能力是一个游戏规则改变者。

Swami强调的另一个挑战是客户如何在多个团队和项目之间高效管理计算资源。在有限且昂贵的计算资源环境中，通过电子表格和日历来最大化利用率和有效分配资源是一项艰巨的任务。

Swami举了一个例子:想象拥有一千个像亚马逊云科技 Trainium2 (Trn2)这样的加速器，白天用于推理任务，但在夜间，这些昂贵资源的大部分处于闲置状态，因为推理需求可能非常低。如果没有战略性的资源分配方法，不仅会错失机会，还会浪费资金。

Swami承认，虽然这个问题看似简单，只需编写一个脚本将容量从一个项目转移到另一个项目，但现实世界要复杂得多。多个推理项目、多个训练项目以及微调和实验项目同时运行，都在争夺同一批计算资源。

这正是亚马逊云科技内部团队在快速扩展生成式AI时所面临的挑战。为了解决这一重大难题，亚马逊云科技开发了一种动态分配计算资源的解决方案，并构建了实时分析和洞察，用于计算分配和利用率。这有助于亚马逊云科技将加速计算资源在各个项目中的利用率提高到90%以上。

当Swami与CIO和CEO分享这一成功案例时，他们表示在扩展过程中遇到了同样的问题，并希望在SageMaker上也能利用这一解决方案。Swami宣布亚马逊云科技正在这样做，推出SageMaker HyperPod Task Governance。

这一创新有助于通过自动化生成式AI任务的优先级和管理来最大化计算资源利用率，降低高达40%的成本。使用HyperPod Task Governance，客户可以轻松定义各种模型任务的优先级，从推理到微调再到训练等等。业务领导或技术领导可以为团队或项目设置计算资源限制，HyperPod将动态分配资源，确保这些资源分配给最高优先级的任务并按时完成。客户还可以监控资源利用情况，获得任务的实时洞察，从而通过不断调整优先级和分配来减少等待时间。

虽然客户正在利用SageMaker AI的强大功能构建和训练机器学习模型，但Swami承认他们也希望使用支持机器学习生命周期各个部分的专业第三方应用程序。他举例了诸如Comet、Deep Checks、Fiddler和Lakario等热门AI合作伙伴应用程序，涵盖了客户用例的各种任务，包括跟踪和管理训练实验、评估模型质量、监控生产环境中的模型性能以及保护AI应用程序免受安全威胁。

然而，客户告诉Swami，虽然他们喜欢在SageMaker上使用这些合作伙伴应用程序，但将它们与SageMaker结合起来可能会耗费大量时间。这涉及到寻找合适的解决方案、管理这些应用程序的基础设施、随着自身机器学习管道的扩展而投入时间和资源，并担心数据安全性，确保数据不会在多个第三方工具之间的虚拟私有云(VPC)之外流失。

亚马逊云科技希望简化将这些专业应用程序的强大功能与SageMaker AI的托管能力和安全性相结合的过程。Swami宣布客户现在可以在SageMaker中部署所有这些合作伙伴应用程序。这些应用程序将有助于加速模型开发生命周期，提供无缝、全面托管的体验，无需配置或管理基础设施，客户的数据也不会离开SageMaker开发环境的安全和隐私范围。Swami对客户能够使用这些功能表示兴奋，并提到亚马逊云科技很快就会继续为SageMaker AI添加更多合作伙伴应用程序。

涵盖了所有这些进展后，Swami强调亚马逊云科技从根本上重新构想了客户构建和扩展基础模型的方式，通过最大化训练效率和降低成本。然后，他邀请了Autodesk的执行副总裁兼首席技术官Raji Arasu，分享他们如何利用SageMaker来革新3D设计。

Raji首先承认，Autodesk在设计和制造领域已经是先驱超过40年，而如今，他们的客户和许多其他客户一样，都面临着前所未有的需求和干扰。建筑师和承包商承受着巨大压力，必须及时、经济实惠且可持续地建造基础设施和建筑物。制造商面临着迅速将新产品推向市场的挑战，同时还要应对严重的供应链延迟和劳动力短缺。各种规模的制作工作室都在努力跟上消费者需求和不断更新内容的步伐。

与许多人一样，Raji表示，这正是激发他斗志的机会——解决创新者和创作者今天所面临的多维度问题，例如加快速度、降低成本、减少资源使用，并在每个步骤中确保可持续性。

为了帮助Autodesk的客户跟上这些颠覆性力量，Raji分享说，Autodesk正在引领由亚马逊云科技支持的3D Generative AI革新。他们正在开发前所未有的生成式AI基础模型。

Raji强调了Autodesk基础模型与众不同的地方。首先，设计和制造的AI输入和输出都极其复杂。他以Autodesk的十亿参数模型项目Project Bernini为例，突出了克服这些挑战的难度。与其他模型不同，它采用多模态输入，如文本、草图、体素和点云，复制创作者的设计过程。

其次，与通用AI不同，这些模型旨在生成2D和3D CAD几何图形，这种几何图形需要基于物理定律的空间和结构推理。Autodesk的基础模型区分几何形状和纹理，使客户能够创建不仅视觉吸引力强，而且精确、准确、可构建和可制造的设计。

Raji承认，Autodesk凭借其在全球数百万个项目中连接物理和数字世界的深厚专业知识，加上尖端的AI研究，独一无二地具备了应对这一挑战的能力。当他们着手这一雄心勃勃的基础模型构建之旅时，他们求助于过去15年来在云计算、数据和AI领域的合作伙伴亚马逊云科技。

Autodesk面临的第一个挑战是从大型设计文件中提取大量智能，将其转化为基于云的细粒度数据。Raji举了一个例子:一栋办公楼的单层包含约100兆字节的设计数据。将其扩展到30层摩天大楼，就变成了3千兆字节的数据。现在将其扩展到包括办公楼、住宅楼和支持基础设施在内的复杂开发项目，就会产生数十亿个对象和数以千兆字节计的不同大小、形状和工作负载的数据。

Autodesk使用DynamoDB作为主要数据库，创建了一个规范化的数据模型，可以处理这些数十亿个对象，将DynamoDB的写入操作推向了数百个分区的极限。通过与亚马逊云科技合作，他们能够扩展和微调DynamoDB，实现高吞吐量和近乎零延迟。

下一个挑战是使用大量复杂的历史数据进行数据准备。Autodesk需要确保他们的管道能够处理诸如表征、特征化和标记化等重型任务。通过结合EMR、EKS、Glue和SageMaker，他们不仅实现了无缝扩展，还交付了高质量和合规的结果。将一切保持在同一云中的一个巨大好处是简化了运营并提高了安全态势。

下一个挑战是训练基础模型，并且要快速完成而不会破费，Raji承认这对于所有客户来说，面对如此多的GPU选择时都是一个担忧。SageMaker使得测试各种实例变得轻而易举，无需管理基础设施，从而使Autodesk能够专注于他们最擅长的领域:数据准备、模型开发和开发面向客户的AI功能。Elastic Fabric Adapter进一步提高了性能，加快了他们的分布式训练任务，训练时间缩短了50%，远远超出了预期。

最后一个挑战是管理大型基础模型的推理复杂性。借助SageMaker的自动扩展和多模型端点，Autodesk现在可以无缝支持实时和批量推理，实现高吞吐量、最小延迟和最大成本效率。

Raji总结说，当将这个由SageMaker和相关AI服务支持的机器学习环境融合在一起时，它已经成为Autodesk的一个游戏规则改变者。它将基础模型部署时间缩短了一半，将AI生产力提高了30%，同时保持了运营成本的稳定。

除了内部生产力和效率之外，Raji分享说Autodesk已经开始向客户推出基于这些基础模型构建的AI功能，客户们非常喜欢这些功能。这些功能包括自动生成草图约束、识别和分类产品设计中的零件——直观的AI功能，作为客户的设计伙伴，帮助他们平衡材料强度和成本等参数，从而确定最佳设计，同时最大限度地减少繁琐的任务并提高创造力。

Raji对Autodesk与亚马逊云科技合作所构建的内容表现出了难以置信的兴奋。他描绘了一个未来的愿景，工厂可以利用AI几乎零停机时间即可切换产品线，制作工作室可以更换动画角色、在几秒钟内布置虚拟场景，而建筑师和承包商可以利用AI分析现有结构、识别问题并提出解决方案。

Raji表示，凭借亚马逊云科技，Autodesk不仅赋予了当今创作者力量，还启发了下一代人构建更智能、更可持续的世界。他举例说，设计洛杉矶2028年奥运会和残奥会、创造未来的太阳能智能汽车，或生成将改造和恢复海洋地板的珊瑚礁骨架。Raji宣称Autodesk正在塑造客户的未来，使他们能够创造任何东西，而他们才刚刚开始。

Swami感谢了Raji，对Autodesk多年来与亚马逊云科技合作取得的创新成就表示惊叹。他对Autodesk利用生成式AI推动3D CAD的发展前景感到兴奋。

接下来，Swami表示，虽然亚马逊云科技将继续重新构想客户构建和扩展基础模型的方式，但他们也在帮助客户通过推理过程利用这些基础模型构建和部署生成式AI应用程序。他解释说，推理是这些基础模型从实验室走向野外，帮助做出可以改变行业、拯救生命或简单地让日常体验变得更加神奇的决策。

然而，当许多客户希望大规模运行推理时，Swami承认他们将需要越来越复杂的工具来使用客户数据定制模型，而机器学习科学家拥有管理这些不断发展的需求的专业知识。许多负责构建这些生成式AI应用程序的应用程序开发人员并没有这种专业知识。

正因如此，亚马逊云科技构建了Amazon Bedrock，Swami将其描述为生成式AI推理的基础。Bedrock是一项全面托管的服务，使开发人员能够轻松构建和扩展生成式AI应用程序，在一个地方访问最新的模型创新和工具。亚马逊云科技投资创建了一个无缝的开发人员体验，为每个与推理相关的任务提供了正确的工具，如选择最佳模型、优化成本、延迟和准确性、使用客户数据定制模型、应用安全和负责任的AI检查，以及构建和编排AI代理。

虽然亚马逊云科技在Bedrock上创建无缝的开发人员体验方面进行了大量投资，但Swami表示，他们正在继续解决当今生成式AI开发人员所面临的更多障碍。然后，他深入探讨了这些领域中的每一个，从选择和优化正确的模型开始。

首先，开发人员需要适合他们应用程序的正确模型，这就是为什么亚马逊云科技提供了一系列多样化的选择，能够解决几乎任何可以想象的任务。其中包括来自Anthropic、Meta、Mistral AI、Amazon Stability AI、Cohere等领先供应商的强大模型，以及更多其他模型。

观众中可能有人已经尝试过使用这些模型，而在AI突破几乎每周都在发生的时代，亚马逊云科技一直在不断投资，提供对最新创新的访问。3月，他们首次在Bedrock中添加了对Mistral AI高性能Frontier模型的支持，其权重是开放的。7月，他们添加了对世界上最大的公开可用LLM Meta的OPT 4B Llama 3.1的支持。9月，他们在Bedrock中提供了Stability AI最佳的图像和文本生成模型。就在上个月，他们宣布在Amazon Bedrock中支持Anthropic的突破性PL3 Haiku模型，该模型可以感知和与计算机界面交互。最后，就在昨天，他们宣布在Amazon Bedrock中推出了Amazon新的Nova系列模型，包括多模态理解模型、视频和图像生成模型，以及价格合理的文本到文本模型。

正如Andy所提到的，亚马逊云科技的内部团队已经在整个Amazon范围内使用了其中一些模型，而且早期结果相当惊人。然而，亚马逊一贯的做法是不会放慢扩大客户可以访问的模型数量的步伐，包括来自最热门初创公司的最新模型。

Swami很高兴地分享说，为软件开发工作流程而设计的初创公司Poolside及其出色的代码生成、测试、文档和其他开发任务的Malibu和Point模型将于明年初进入Bedrock。亚马逊云科技将成为首个提供对Poolside助手和全托管模型访问的云提供商。

除了解决开发人员痛点的模型之外，Swami表示亚马逊云科技还让客户能够利用最新的图像生成模型进行创新。他很高兴地宣布，在SageMaker HyperPod上训练的Stable Diffusion 3.5模型(Stable Diffusion系列中最强大的模型)即将进入Bedrock。这种先进的文本到图像模型可以从文本描述生成高质量的图像，用于概念艺术、视觉效果、原型设计和详细的产品图像。

最后，许多客户都表达了希望获得访问最先进的视频生成模型的愿望，这导致Swami宣布Luma AI很快就会进入Bedrock。Luma的模型创新标志着AI辅助视频创作领域的重大进步，能够以非凡的效率和卓越的质量从文本和图像生成高质量、逼真的视频。

为了更多地讲述最新的创新，Swami邀请了Luma AI的首席执行官Amit Jain上台。Amit对将Luma AI模型引入Bedrock表示兴奋，特别是他们全新的视频AI模型Luma Ray 2。他将Luma Ray 2描述为最强大、最高质量的文本到图像和文本到视频生成模型，这是由于他们从头开始构建的全新的先进生成模型架构，使全新的设计、营销和视频创作工作流成为可能。

正如完全在Ray 2上生成的视频所示，它可以根据文本说明或图像帧以及客户拍摄的视频生成高度逼真的专业级视频。Ray 2还可以对构图、颜色、摄像机和动作进行前所未有的控制，允许客户将整个品牌身份融入模型，并以很大程度的控制创建看起来完全正确的内容。

Amit强调，Ray 2通过以前所未有的实时速度创建整个一分钟长的视频，在视频生成方面推进了技术的发展，并且第一次实现了无与伦比的角色和故事一致性。使用Ray 2就像看到你在想象中的东西出现在你面前一样，使电影、设计和娱乐领域的全新工作流成为可能。

Amit相信Ray 2是创意AI世界的一个巨大飞跃，现在这个令人难以置信的模型家族及其功能将在Bedrock中为所有客户提供构建基础。

然后，Amit带领观众走进了幕后，分享了这些模型是如何训练的。Luma的模型学习的数据量比即使是最大的数据灯也多约一千倍。为了实现这一点，他们对训练运行的每个方面进行了超级优化，以从所使用的计算集群中获得最大的吞吐量。这意味着他们的工作负载要求在亚马逊云科技内部的计算资源达到绝对的极限。

Luma发现亚马逊云科技是一家了解这一点并了解推进前沿所需要的云提供商。在尝试了GPU计算光谱上的许多选项后，他们选择了Amazon SageMaker HyperPod，因为HyperPod对他们来说是最可靠和最具扩展性的集群。Luma在亚马逊云科技上加大了投资，增加了四倍的承诺。

大约在签署训练这些下一代模型四个月后，Amit解释说，整个堆栈必须协调一致地工作——GPU、互连功率、网络、存储和软件——它们都必须以极高的可靠性工作，以创建一个稳定的训练环境。任何低于这个水平的都意味着挫折、计算资源利用不足和上市速度缓慢。

Luma发现亚马逊云科技基础设施对于这一点来说是出色的，他们在运行全球规模计算方面的专业知识体现在HyperPod的可扩展性上。观众中可能已经知道，作为一家HyperPod初创公司，Luma往往以令人难以置信的速度执行。亚马逊云科技团队以Luma的步伐前进，从入职到评估再到优化，并帮助他们完全在HyperPod上以创纪录的时间训练Ray 2。

除了计算之外，亚马逊云科技团队还与Luma在分发和上市方面进行了深入合作，将Luma的技术带给了世界各地的客户。

Amit表示，这些新模型使Luma更接近于他们构建下一代智能的使命，这种智能富有创造力、内容丰富且高度视听化。他们认为，单单语言模型无法推动这一未来为客户服务。在Luma，他们正在构建大规模的训练和数据系统，从人类的整个数字足迹中学习。

如今，Luma的模型已被世界各地的时装设计师、工作室、广告公司、营销团队和视觉思维者在从构思到生产的工作流程中使用。不久，客户就能在亚马逊云科技上尝试这些模型。作为一家垂直整合的研究和产品公司，Luma训练这些模型，使不可能的产品成为可能。他们非常受欢迎的产品也会持续增强他们的模型，作为API的用户，所有客户都将从这些宝贵的收益中获益。

Amit感谢Swami的帮助，让Luma成为re:Invent的一部分，并邀请观众查看他们全新的Bedrock模型，共同构建未来。

Swami感谢Amit，回忆起今年早些时候他们第一次交谈时Luma刚开始构建这些模型。他对初创公司在拥有合适工具时能以前所未有的速度前进表示惊叹，称Luma AI真正通过生成式AI的力量推动了视频内容创作的边界。

虽然合适的基础模型可以开启无限可能，但Swami也承认，客户对新兴和专门的任务型模型的兴趣也在增长。他举例说，像生物学的进化规模前沿语言模型，推进了药物发现和碳捕获等领域，或者IBM的Granite模型家族加速了各种商业应用。

客户告诉亚马逊云科技，他们希望将这些专门模型的力量与Bedrock上的所有开发者工具相结合，为企业创造更大价值。Swami自豪地宣布了Bedrock Marketplace，它将让客户能够访问来自领先供应商的100多种新兴和专门的基础模型。

现在，客户可以通过Bedrock控制台的统一体验来发现和测试这些新兴和专门的模型，从而简化开发工作流程。一旦部署，他们就可以使用这些模型与Bedrock的统一API，并利用其知识库、防护措施、代理以及自第一天起就内置于Bedrock的所有功能，以及安全和隐私功能。

通过Bedrock，亚马逊云科技致力于让客户能够访问适用于所有用例的最佳模型。然而，虽然模型选择至关重要，但在构建推理时，这只是第一步。开发人员还需要花费大量时间评估模型是否符合他们的需求，特别是成本和延迟等因素需要权衡，因为优化一个通常需要牺牲另一个。

这是因为成本和响应延迟与模型精度成反比，更强大、更智能的模型会消耗更多加速器硬件。为了解决这个问题，Swami介绍了新功能，使客户能够轻松找到适合其用例的平衡，包括Bedrock中的新模型蒸馏功能，可以轻松地将特定知识从大型、更精确的模型转移到更小、更高效的模型，使其速度提高多达500%，成本降低75%。

亚马逊云科技还推出了延迟优化推理队列，允许客户访问最新的AI硬件和其他软件优化，用于各种领先的AI模型。

然而，Swami知道，通过进一步优化流程，他们可以为客户解决更多问题。他从提示开始深入探讨这一领域，提示是提供给模型以生成输出的输入和指令。

当提示发送到模型时，模型响应查询并生成令牌，这些令牌是模型可以理解的语言片段。发送的令牌越多，或提示越长，成本就越高。因此，如果这个过程没有针对特定用例进行优化，令牌生成成本就会迅速增加，尤其是在频繁重复提示时。

Swami举了一个例子，一家律师事务所每天都有成千上万的新文件传入。有些律师想熟悉一下该事务所正在处理的一项收购的最新状况，因此他们会询问有关付款结构、保修等问题。当他们提出所有这些查询时，他们需要包含这些文件中的上下文，因此会将其作为提示的一部分发送，从而降低查询响应时间并增加成本。

亚马逊云科技知道他们可以通过缓存来解决这个问题。在这种情况下，他们在生成编码令牌后缓存整个文档，因此在后续提示中不需要重新处理，从而可以跳过输入令牌处理。

亚马逊云科技希望为客户提供一种简单的方式来动态缓存他们的重复提示，从而降低成本和延迟，而无需牺牲精度。Swami很高兴地分享了Bedrock上的提示缓存支持，称这在降低成本方面将是一个重大进步。

通过提示缓存，客户不仅可以降低响应延迟，还可以通过缓存跨多个API调用的频繁使用的提示前缀来降低成本。要开始使用，他们只需使用Bedrock API或在Playground UI中进行实验，看看它可以为他们的用例节省多少。通过这个功能，他们可以将支持的模型的延迟降低高达85%，成本降低高达90%。

除了优化频繁重复的提示外，开发人员还告诉亚马逊云科技，很难为每个用例将请求路由到合适大小的模型。有些提示可能需要高级、功能强大的模型，而有些则需要非常简单、快速的模型。

如今，开发人员不得不花费大量时间尝试各种模型，以找到最适合每个用例的模型。Swami举了一个管理旅游计划网站并希望选择最佳模型来应对各种客户问题的例子。

开发人员首先测试一个简单的查询，如“你能为我和家人12月份的旅行推荐最佳计划吗?”并在同一模型家族中测试三个模型，评估每个响应的速度、准确性和成本。他们发现较小、较便宜的Model A提供了准确性和性能之间的最佳平衡。

然后，他们测试一个更复杂的场景，如“为我制定一个7天的欧洲多个目的地行程，包括一些温暖的天气，最后一天我想在巴黎与朋友会面。”在用每个模型评估这个查询后，他们发现最先进的Model C可以处理这个请求的细微差别，但对于简单的问题可能就过于复杂了。

现在想象一下，要为数百种不同的用例或可能的问题重复这个过程，以便为每个请求路由到合适的模型。开发人员需要手动编码哪些提示应该路由到哪些模型，并在客户请求模式发生变化或新模型推出时，一次又一次地重复这个过程。

亚马逊云科技希望让客户能够更轻松地确保最佳提示会路由到适合所有用例的正确模型。Swami很高兴地宣布了Bedrock上的智能提示路由新功能，它可以在模型家族内将提示路由到不同的基础模型，帮助客户优化响应的成本和质量。

客户只需选择要使用的模型，为每个请求设置所需的成本和延迟阈值，Bedrock就会动态将他们的请求路由到最有可能以最低成本提供最佳响应的模型。事实上，智能提示路由可以在不影响准确性的情况下将成本降低30%。

通过这些功能，客户可以消除在各种用例中推理优化的猜测。

在为客户构建独特体验时，Swami表示，真正的魔力发生在客户使用自己的数据定制这些模型时。最简单的入手点是检索增强生成(RAG)，客户可以使用专有数据增强他们的提示，以更好地响应客户的问题或请求。

Swami举了一个在线电脑零售商的例子，客户经常会询问复杂的兼容性问题。客户在生成式AI电力聊天应用中询问最近订单的状态。通过包含订单管理系统和运输数据库中的数据，可以为模型提供更多上下文，从而生成高度准确和相关的响应。

虽然RAG的过程看起来很简单，但实际上需要大量手动繁重的工作，从使用最佳嵌入模型对数据进行索引并将嵌入存储在向量数据库中，到创建自定义检索机制并在响应生成期间与正确的模型相结合。

这个完整的过程使得很难轻松构建RAG，但亚马逊云科技已经通过Bedrock知识库使整个RAG工作流程变得简单，知识库是一种完全托管的RAG功能，可以让客户使用上下文和相关数据定制响应，自动化整个RAG工作流程，无需自定义代码即可集成数据源和管理查询。

像Ericsson、F1和Travelers这样的客户都在使用知识库来生成更准确、更吸引人的输出。虽然Bedrock知识库为RAG工作流程提供了坚实的基础，但对于大量企业数据源进行高效和高度准确的检索仍然是一个挑战。

这就是亚马逊Kendra的用武之地。Kendra是亚马逊云科技的智能企业搜索服务，利用机器学习帮助呈现更相关的数据。Kendra还可以帮助创建和管理向量嵌入，同时利用其语义理解能力来提高应用程序的检索准确性。它还内置了与40多个企业数据源的连接器。

客户希望获得一个开箱即用的向量索引，帮助他们选择最佳嵌入模型、优化向量维度并微调检索准确性。他们还希望将其无缝集成到知识库和跨生成式AI应用程序中。

为了解决这个问题，Swami很高兴地宣布推出Kendra GenAI索引——一个托管的Bedrock RAG检索器，支持与40多个企业数据源的连接器。客户可以将其用作Bedrock知识库，并构建具有代理、提示流程和防护功能的生成式AI助手。另一个很酷的功能是，他们可以在其他用例中利用这些内容，如他们的亚马逊Kendra商业应用程序。

亚马逊云科技正在让客户轻松连接他们企业应用程序中的所有数据，但他们也希望让客户在构建生成式AI应用程序时更容易使用更多数据，无论是存储在数据仓库或数据湖中的结构化数据、文档或PDF等非结构化数据，还是结合图像、视频和文本的多模态数据。

Swami首先仔细研究了结构化数据。公司往往将所有运营数据存储在数据仓库或数据湖中。然而，要使结构化数据可供RAG访问，需要做的不仅仅是查找表中的单个行。

例如，考虑这样一个自然语言查询:“上个月华盛顿州最重要的产品类别按收入排列是什么?”为了处理这个请求，模型需要创建SQL查询来过滤、连接表并聚合数据。将自然语言翻译成SQL的过程对于结构化数据来说，就像向量存储对于文档一样至关重要。

现场的一些人可能会想:“为什么这么难做?难道不能直接让LLM来做吗?”实际上，要有效地做到这一点并不简单。需要实现定制的模式嵌入、查询分析、数据采样和查询纠正循环等技术，同时还要解决诸如提示注入攻击等安全问题。

为了管理这些任务，开发人员通常需要花费时间构建复杂的定制SQL解决方案，以实现准确的SQL查询生成。今天，亚马逊云科技为客户解决了这个问题。Swami很高兴地宣布Bedrock知识库现在支持结构化数据检索。

这将开启许多新的生成式AI用例，这是首个完全托管的开箱即用RAG解决方案，使客户能够直接查询来自数据仓库、数据湖或Amazon Redshift的所有结构化数据，以及最近推出的支持Iceberg的S3表。

知识库将自动生成并执行SQL查询来检索数据，然后丰富模型的响应。很酷的是，它还会根据模式和数据进行调整，并从查询模式中学习，提供自定义选项以提高准确性。

有了轻松访问结构化数据进行RAG的能力，客户将能够在企业中生成更强大、更智能的生成式AI应用程序。

然而，随着越来越多的客户继续构建RAG应用程序，Swami承认他们对相关性和准确性的期望也在不断提高。使用RAG产生相关响应尤其具有挑战性，因为信息通常分散在多个来源或文档中，而不是包含在单个文档中。

Swami举了一个例子，一位客户联系在线零售商，反映一款智能家居设备出现故障。在线助手现在需要快速连接多个信息片段，如客户的购买历史、之前的工单、产品详情和相关知识库文章。但随后它在将这些不同的数据源链接起来以提供量身定制的相关响应时遇到了困难。

要解决这个问题，客户真正需要的是知识图谱。知识图谱通过连接不同的信息片段来创建数据之间的关系，就像一个网络。在这种情况下，客户代表了一个节点，通过“购买”边连接到购买历史，通过“提交”边连接到支持工单。

当这些关系被转换为生成式AI应用程序的图嵌入时，系统就可以轻松遍历这个图并检索这些连接，从而获得客户数据的整体视图。有了知识图谱，系统现在就能够将最近的购买与已知问题相关联，找到相关支持并建议解决方案。

然而，构建具有知识图谱的RAG系统需要高度的专业知识。开发人员需要花费额外的时间编写自定义代码，将他们的图集成到基于RAG的应用程序中，然后增强他们的提示以创建更相关的响应。

亚马逊云科技知道他们可以让整个过程对客户来说更加简单。Swami非常高兴地宣布Bedrock知识库现在支持Graph RAG——一项全新功能，可以自动使用Amazon Neptune生成图，并链接各种数据源之间的关系，从而创建更全面的生成式AI应用程序，无需任何图形专业知识。

知识库现在还可以通过明确连接和源信息来增强可解释性，从而实现更好的事实验证。通过支持Graph RAG，客户现在可以通过单个API调用为其应用程序生成更准确的响应。

最后，Swami研究了开发人员在为生成式AI处理多模态内容时面临的一些挑战。大多数企业数据都是非结构化的，包含在文档、视频、图像和音频文件等多模态内容中。如果客户能够轻松地将这些数据用于他们的生成式AI应用程序，那就太好了。

不幸的是，非结构化数据很难提取，需要进行处理和转换才能使其可用。Swami举了两个例子:假设一位客户在流媒体服务公司工作，想开发一款应用程序，可以在电视节目和电影中智能地放置相关广告。为此，他们需要首先通过并行分析数十万小时的内容来索引所有视频。他们还需要索引所有广告，并匹配相关广告，在最佳时机放置广告，为观众提供更好的观看体验，并为广告商带来更高的投资回报率。

或者，假设一位客户在一家大型银行工作，想要构建和自动化贷款审批工作流程，以利用每个贷款包中的非结构化数据。现在他们需要分离和分类每个文档包，然后提取、规范化和转换数据，再加载到他们的数据库中。

无论行业或垂直领域如何，Swami承认大多数客户都熟悉这个在数据库世界中被称为ETL(提取、转换、加载)的过程。亚马逊云科技希望让客户更容易利用他们的多模态内容进行生成式AI。

Swami很高兴地宣布推出Bedrock数据自动化——一项功能，可以自动将非结构化的多模态内容转换为结构化数据，以支持生成式AI应用程序，无需任何代码。他喜欢将其视为非结构化数据的AI驱动ETL。

该功能将自动提取、转换和处理所有多模态内容，并进行大规模处理，只需一个API。客户可以生成符合他们模式的自定义输出、解析用于生成式AI应用程序的多模态内容，或者简单地加载转换后的数据以支持他们的分析。Bedrock数据自动化还有助于降低虚构的风险，因为它提供了置信度分数，并将响应与原始内容相关联。

客户已经在使用这一功能取得了成功，比如Symbiote——一家Corwell公司，提供自动化理赔处理解决方案。通过这一功能，Symbiote正在简化提取和转换保险理赔和医疗账单为应用程序数据的过程，提高了理赔效率，缩短了客户的周转时间。

通过这些更新，亚马逊云科技正在让客户能够利用他们的所有数据来构建上下文更加强大的生成式AI应用程序。

然而，随着生成式AI在各种模型和数据类型中不断发展，Swami承认，对于开发人员来说，确保他们拥有合适的保护措施可能会很困难。这就是为什么亚马逊云科技提供了Bedrock防护措施，使客户能够为他们的应用程序实施可配置的保护。

防护措施有助于阻止高达85%的有害内容，比Bedrock上基础模型原生提供的保护更有效，其中包括可以检测和阻止暴力和侮辱等有害文本内容的内容过滤器。它还提供了上下文相关性检查，以检测和过滤虚构内容。

本周，亚马逊云科技宣布了新的自动推理检查，Bedrock可以根据健全的数学验证检查模型所做的事实陈述是否准确，并准确展示它是如何得出该结论的。

但随着越来越多的客户利用最新的多模态模型来满足他们的使用案例需求，他们也需要考虑其非结构化数据中可能包含的有害内容。Swami很高兴宣布Bedrock Guardrails的多模态有害内容检测功能——这一功能扩展了Bedrock可配置的保护措施，支持图像数据，使客户能够构建安全的多模态生成式AI应用程序。

例如，在在线广告中，一家分类广告公司现在可以防止用户与潜在有害的图像内容(如仇恨、暴力和不当行为)互动。此更新适用于Bedrock中支持图像内容的所有模型，包括微调模型。

从模型选择到负责任的AI，到目前为止所涉及的所有工具和挑战，将随着越来越多的客户利用这些努力来解决问题并代表他们采取行动而变得越来越重要，就像AI代理所做的那样。

代理不仅能够被动理解语言，还能够主动推理和多步骤解决问题，实现以前无法实现的新水平的自动化。它们被设计用于实现特定目标，能够将复杂任务分解为可管理的步骤，就像经验丰富的专业人员一样工作。

Swami举了一个有趣的例子来说明多代理工作流程的强大功能。除了是一位出色的母亲外，他的妻子还是一位经过培训的糕点师，对食物有着苛刻的标准。所以Swami非常重视寻找最好的餐馆。但他这位前研究生总是说:“比令人惊叹的食物更好的是什么?令人惊叹的免费食物!”

在像re:Invent这样的大型会议上，要想找到所有赞助活动和派对上最好的食物是非常困难的。Swami演示了如何使用多代理工作流程在饥饿变成“饥饿”之前找到免费食物。

第一个代理获取食物偏好，如“我想要意大利菜，但我不能吃肉或海鲜”。接下来，一个代理分析会议活动，确定哪些餐馆在举办派对。第三个代理收集有关餐馆和赞助商的详细信息，以帮助决定参加哪个派对。第四个代理告诉派对开始的时间，并估计到达那里需要多长时间。最后，代理利用所有会议信息自动注册该活动。

正如这个有趣的例子所说明的那样，可以代表客户采取行动的代理可以非常强大。为了帮助客户轻松大规模部署自己的代理，亚马逊云科技提供了Bedrock Agents。

Bedrock Agents提供了专门用于协调和自动化复杂工作流程的高级AI组件。它们将基础模型的语言理解能力与推理和执行能力相结合，将高级目标分解为连续步骤，并规划所需的操作。

从本周开始，Bedrock Agents现在支持多代理协作，可以轻松构建和协调专门的代理来执行复杂的工作流程。

客户一直在使用Bedrock Agents创建更具创新性和相关性的体验，包括美国职业高尔夫球巡回赛(PGA Tour)，他们使用Bedrock Agents将实时数据和见解转化为引人入胜的评论，这些评论可以根据个人球迷的偏好和语言进行定制。

这种个性化的AI驱动解决方案只是客户可以利用Bedrock全面功能套件的一种方式，从选择正确的模型到优化模型，定制模型数据，应用安全和负责任的AI检查，构建和协调AI代理。

构建生成式AI所需的所有功能都已汇集到Bedrock，简化了开发人员的体验，使组织能够完全释放AI的力量。

然后Swami介绍了Rocket Companies的CTO Sean Malhotra，分享了他们如何解决这些领域(从RAG到代理)，推动抵押贷款和金融服务行业的转型。

Sean表示，他大约7个月前加入了Rocket，这是他20年职业生涯中仅有的两次公司转换，所以他必须有令人信服的理由才会做出这一飞跃。Rocket确实有很多值得喜欢的地方，但最终让他做出决定的是，他看到了利用尖端技术为一个非常有意义的使命服务的机会，那就是帮助每个人实现拥有自己的家的梦想。

虽然拥有自己的家是美国梦的基石，但Sean承认，实现这个梦想的过程仍然充满了阻力和压力。事实上，60%的千禧一代和Z世代的首次购房者在这个过程中经历了沮丧的泪水，听起来更像是一场噩梦而不是梦想。

当深入挖掘成堆的文书工作、手动流程和缺乏深度个性化时，Sean意识到，如果他们只使用正确的数据和现代工具(如生成式AI)，许多这些痛点都是可以解决的。

多年来，Rocket一直是他们行业的先驱，成为第一家将抵押贷款引入互联网的公司，第一家将抵押贷款引入移动端的公司，现在他们正在借助AI将其提升到一个全新的水平。这是一个亟待扰乱的行业，凭借他们10PB的数据、对客户整个拥有家园旅程的360度视角、出色的人才，以及与亚马逊云科技的密切合作，这种扰乱已经开始了。但Sean强调，这只是个开始，只是冰山一角。

虽然AI在Rocket的世界里并不新鲜，他们在2012年就推出了第一个AI模型，如今已有210多个专有模型投入生产，但Sean承认，他们已经进入了一个新的AI时代，这并非炒作。尽管他是一位CTO，通常对新事物和可能不切实际的期望持一些怀疑态度，但他表示这是不同的——这是一种技术，将使他和妻子的孩子无法与他们产生共鸣，而且它来得很快。

在Rocket，他们知道，如果想在这一时刻为客户倾注心力，他们必须与世界上最好的公司亚马逊云科技合作。亚马逊云科技团队，包括亚马逊云科技执行简报中心、生成式AI创新中心，在担任他们的盟友方面发挥了关键作用，帮助他们驾驭这一转型。他们帮助Rocket设计和构建了可扩展、智能的解决方案，这些解决方案专门针对他们的行业和客户。

亚马逊云科技使Rocket能够与他们一起合作，定义利用新概念(如编排和创建AI代理)的框架。与许多其他人一样，Sean喜欢亚马逊云科技的工作方式，即从经验出发，加速体验。这些方法帮助他们以更快、更有效的方式创新，解决了金融科技行业一些最棘手的问题。

Sean提到，他之前说过生成式AI并非炒作，所以他想谈谈它如何为他们的业务和客户带来实实在在的成果。

Rocket的专利AI驱动平台是核心，基于这一平台，他们能够构建如此多的AI体验，这得力于Amazon Bedrock和亚马逊云科技。与亚马逊云科技的紧密合作对他们的成功至关重要。

Sean分享的一个例子是Rocket的AI驱动代理功能，它指导客户完成拥有家园的旅程。客户现在就可以与这个个性化的代理聊天，如果他们像Rocket 80%的客户一样，他们会更喜欢这种方式而不是打电话，并且他们与Rocket合作获得贷款的可能性会提高三倍——这些庞大的数字显示了他们如何将“代理AI”等流行语变为真正的价值。

Sean演示了一个例子，说明他们如何帮助一位首次购房者实现她的梦想，在70%的互动中自主处理。节省的时间使他们的团队能够专注于她，回答她更私人的问题，更好地了解她的需求，并真正提供以人为本的体验，在这方面AI和Amazon Bedrock提供了巨大帮助。

通过利用由Bedrock驱动的AI平台，Rocket自动化了诸如文档处理、记笔记、筛选密集的抵押贷款文档以回答问题等任务，等等。这对他们的业务和客户意味着什么?

Sean提供了一些例子:它提高了首次呼叫解决率10%，在他们业务的某些部分，它将客户获得答复所需的时间减少了68%——这是真正的价值，真正帮助了人们，希望这意味着他们为之服务的房主流下的眼泪会更少一些。

生成式AI还产生了另一种深远影响——民主化创新。Rocket构建了一个内部无代码工具，他们称之为Navigator，它允许公司的每个人(而不仅仅是技术人员)访问各种世界上最好的大型语言模型。它让他们能够利用RAG等AI模式，而无需知道RAG代表检索增强生成(Retrieval Augmented Generation)。它可以自动生成数据库查询，允许他们的业务合作伙伴从数据中获取深入且复杂的见解，而无需求助于技术团队。

这释放了整个公司的想象力，提高了他们的创新步伐。自7月推出以来，仅经过几个月的开发，他们就有2400名团队成员使用了该工具，与大型语言模型产生了68000次互动，他们的用户开发了133个定制应用程序——你猜对了，这一切都是由Bedrock实现的。

他们仅用了几个月的时间就完成了这项工作，如果没有人工智能的帮助，这将需要更长的时间。总的来说，他们通过Bedrock驱动的人工智能获得了显著的商业价值 - 提高了效率，增强了客户体验，并能在几周或几个月内快速将人工智能扩展到多个产品和体验，而不是几个月或几年。

当把所有这些加起来时，他们每年节省了80万个团队成员工时，从而能够专注于他们热爱的事情 - 深入了解客户的梦想并帮助他们实现梦想。

肖恩感谢了亚马逊云科技团队，他们一直陪伴着Rocket走过了每一个阶段。两家公司的DNA中都有创新和创业精神，这使得他们能够轻松地携手合作。

在Rocket公司，他们有一套被称为“主义”的基础价值观和原则。其中有几条真正描述了他们与亚马逊云科技一起走过这段旅程的方式:“痴迷于寻找更好的方式”和“创新受到奖励，执行受到崇拜”。

他们孜孜不倦地探索如何用人工智能来改革房地产购买之旅，并为这一愿景提供了真实的成果。他们取得了很大进展，但肖恩强调他们才刚刚开始。

Rocket正在与亚马逊云科技合作一些非常重大的事情，比如为那个肖恩刚刚展示的面向客户的人工智能助手带来实时、上下文感知的个性化体验。随着他们继续推进这项技术的边界，这将是令人难以置信的。

肖恩表示，他们不会停止，直到购买房屋像在线购买书籍一样简单，到那时他们才真正实现了帮助每个人实现住房梦想的使命。

Swami感谢了肖恩，并提到他很高兴看到Rocket公司正在将这些技术结合起来为他们的业务服务，尤其是当他们展望代理未来时。这些代理系统将对于更快地完成工作至关重要，这就是为什么亚马逊云科技提供了像Amazon Q这样的工具。

Q使客户能够快速开始使用生成式人工智能，以加速整个员工队伍的生产力，从开发人员到数据分析师再到业务用户。它在底层由Bedrock驱动，具有强大的基础模型和代理能力，可以帮助以明确的目的和方向来解决复杂的问题。

Swami强调了Amazon Q Developer，亚马逊云科技的软件开发专家生成式人工智能助手。正如Matt昨天所讨论的，Q可以帮助整个端到端的开发生命周期，从代码生成和功能开发到编写测试和文档，加速遗留应用程序转换，并简化开发任务和调试操作事件。

Swami分享说，Q Developer今天取得了令人难以置信的进步。事实上，Q的软件开发代理现在在SWEBench的验证排行榜上表现最佳，SWEBench是一个非常流行的用于解决高级编码问题的基准。Q能够解决54.8%的软件开发问题，比7个月前首次加入排行榜时能解决的问题多一倍以上。

Swami对Q团队的进步速度感到惊讶，亚马逊云科技的客户也是如此。像DFL Bundesliga、United Airlines和BT Group这样的客户正在使用Q进行代码生成、平台整合和Java升级。

虽然亚马逊云科技在首次推出Q时主要关注于提高传统软件开发生命周期中的生产力，但随着他们更多地探索其功能，他们很快意识到其潜力远远超出了日常开发任务。他们还看到Q有巨大的潜力来帮助更快地构建机器学习模型。

构建模型需要高度的机器学习专业知识，并涉及耗时的任务，如特征选择、特征工程、选择算法、训练、超参数调优和模型评估。虽然亚马逊云科技已经通过Amazon SageMaker Canvas等工具使机器学习工作流程和构建模型变得更加容易，但他们知道他们可以利用生成式人工智能的力量做得更多，特别是对于缺乏机器学习模型开发经验的客户。

Swami很高兴地宣布，Q现在可以在SageMaker Canvas中使用了。即使不编写一行Python代码，客户也可以简单地用自然语言描述他们的业务问题，Q将指导他们逐步构建机器学习模型。例如，如果在制造业工作并希望构建一个模型来预测产品是否会通过质量测试，Q将提供分步指导来分解问题、准备数据、定义机器学习问题、构建、评估和部署模型。

Swami表示，他很高兴看到这一功能将如何帮助更多客户进行机器学习模型开发。然而，他们设计Q不仅仅是开发人员任务和机器学习工作流程的助手。它还通过两个生成式人工智能助手赋予业务用户权力，让他们更快地完成工作。

第一个是Amazon Q Business，它帮助员工轻松连接到存储在企业系统中的数据和信息。Q Business通过回答问题、提供总结以及生成内容来提高员工效率，从而为组织快速创造价值。

例如，NFL使用Q为他们的制作人、编辑和创作者创建了一个生成式人工智能助手，以加速内容制作。这一解决方案将新员工培训时间缩短了67%，员工可以在10秒钟内而不是长达24小时内获得问题答案 - 想象一下这种生产力的提高。

除了Q Business之外，亚马逊云科技还在帮助业务用户通过Q和QuickSight加快数据驱动的决策。Q和QuickSight利用生成式人工智能的力量为更多用户提供洞见。Q提供了自然语言生成的仪表板总结，并支持询问关于数据的问题并获得带有多视觉图表和图形的响应，从而加快了决策速度。

客户正在使用Q和QuickSight来解锁各种行业和用例的商业洞见，包括一级方程式赛车队。在发动机装配过程中，Scuderia Ferrari意识到了将大量数据民主化的机会，以帮助他们的工程师获得更好的洞见。通过仪表板创作功能，工程师可以使用自然语言生成仪表板并在制造过程中发现异常。

Swami表示，商业智能和生成式人工智能的融合将继续为客户开启新的可能性。但随着这些模型变得越来越强大，亚马逊云科技知道他们可以做更多来加快数据驱动的决策。

如今，许多业务用户面临的问题无法通过对他们的数据进行简单的问答来直接回答。Swami在很久以前推出DynamoDB时亲身经历了这一点，当时他试图决定最佳的免费层持续时间。他们的一个大问题很快变成了许多小问题，每个问题都需要找到数据，在某些情况下还需要创建假设场景来解决问题。

例如，要确定每个用户的成本，他们必须将基础设施成本与每个选项的使用情况相结合，这需要对每个选项进行更深入的分析。虽然DynamoDB的推出已经是历史了，但今天的业务用户仍然存在这个问题，他们要花费数小时甚至数天在各种电子表格中进行单调的分析。

亚马逊云科技知道Amazon Q可以让客户更轻松地进行这种情景分析。Swami很高兴地宣布了Q和QuickSight中的Scenarios预览版 - 这是一个令人兴奋的功能，通过它，业务用户可以使用自然语言让Q帮助解决复杂的业务问题。

Q将找到相关数据，建议分析方法，规划每一步，并执行工作，在每一步都提供详细的见解和建议。有了这个功能，业务用户现在可以比传统的电子表格式分析工具快10倍执行分析。

Swami演示了它是如何工作的:他可以描述一个场景，比如“什么是最佳的免费试用期?”Q将搜索所有仪表板以获取相关数据并准备分析。它将自动将问题分解为较小的问题来回答。他可以选择一个问题进行分析，而在该分析开始时，他可以添加更多问题，比如“如果所有试用期都是30天会怎样?”并添加一个假设场景来探索免费试用对收入的影响。

他可以轻松修改分析，例如，通过要求Q忽略那些记录并获得更新后的答案，从而消除了0天试用期的直接偏差。每个答案都可以轻松获得所需的数据和见解，从而做出明智的决策，比如试用期不同时转化率的变化，或者更长的试用期将达到收益递减的见解。在工作过程中，Q会考虑每一步，使他们能够看到他们是如何得出答案的，并根据需要进行更改。

Q和QuickSight的融合将大幅加速业务分析。但工具、数据和AI的融合不仅为使用Amazon Q的客户解锁了洞见，还支持了数据湖上的快速SQL分析和大数据处理，加速了SageMaker上的模型训练，并在Amazon Bedrock上引发了新的生成式AI驱动的体验。所有这些都在与下一代Amazon SageMaker融合，简化了整个分析和机器学习工作流程。

为了展示亚马逊云科技如何赋能客户利用所有这些创新，Swami邀请了亚马逊云科技的产品负责人Shannon Kelliher登台演示。

Shannon首先强调了他们周围海量的数据 - 仅计算手机就有约1，330，432 GB。她承认虽然他们被数据包围，数据、AI和分析的融合在几乎每项任务中都在增长，但也看到了随之而来的复杂性 - 寻找正确数据集的挫折感，为了完成一项工作而在控制台之间切换，以及协作的挑战。

但如果他们能够给混乱带来秩序呢?让找到正确数据变得简单，在一个界面中获得所需的所有工具，并与他人无缝协作?有了下一代Amazon SageMaker，他们就可以做到这一点。

Shannon邀请观众想象他们是一家机器人初创公司的数据工作者，任务是增加销售额 - 这种大而模糊的问题正是“数据混乱”所热衷的。她将其分解为几个步骤:吸引更多线索、分析这些线索，并确定哪些线索值得优先跟进。

为了吸引更多线索(第一步)，尽管现场和直播可能会给人不同的印象，但Shannon说他们是一个非常小的团队，因此他们将创建一个聊天代理，在网站上与客户互动并自动生成销售线索。

他们将启动生成式AI游乐场，在那里他们可以并排比较模型，并向它们发出他们认为客户会喜欢的提示，例如“我想了解更多关于包装机器人的信息”。这将让他们看到哪个模型最能满足他们的需求。找到他们喜欢的模型后，他们可以在Bedrock IDE中开始构建AI助手，创建防护栏、添加知识库，并创建一个函数来通过给它一个名称、描述和与他们的CRM模式集成来生成线索。

快进到未来，他们的AI助手现在每天都在生成数百个他们想要分析的线索(第二步)。他们可以使用新的Zero ETL for Applications集成将他们的CRM数据带回SageMaker，以便数据分析师可以处理它。

对于第二步分析，他们需要一种方式来对线索进行分组，以便更容易确定优先级。数据分析师将把线索与其他数据集结合起来，创建客户细分。但在这之前，他们必须找到正确的数据，在SageMaker中，他们有两个选择:使用数据目录搜索，如“线索”，它将根据关键词和语义含义进行匹配;或者使用Q提出问题，如“我在哪里可以找到包含AI助手生成的线索的数据集?”

Q会找到他们需要的数据，生成结果并让他们预览这些信息。如果他们想处理它，他们可以直接订阅。然后，为了开始分析，他们将启动查询编辑器，在那里他们可以访问已订阅的数据，并选择使用Redshift或Athena查询它。然后，他们可以开始通过探索市场数据、技术数据和转化率来构建细分，寻找模式，然后将所有这些组合成一个组合数据集，在其中保存他们的细分定义并将所有内容写回Lakehouse，以便他们的协作者可以访问。

对于第三步，确定要跟进哪些线索，数据科学家将创建一个机器学习模型来评分和确定线索的优先级，因为它们不断进来。过去，这几乎肯定需要多个笔记本 - 首先在EMR中准备和预处理数据，然后跳转到SageMaker来构建和训练模型。

但现在，他们可以在单个笔记本中完成所有工作，只需将所需的计算应用于所需的代码。在构建这个模型时，他们可以使用Q生成所需的代码，例如使用随机切割森林来评分线索的模型。一旦代码生成，他们就可以轻松地将其添加到笔记本中，并从SageMaker内部训练和部署模型，以便在新线索进来时进行推理和评分。

但要真正有用，销售部门需要一种方式来采取行动，因此他们将这些结果写回Lakehouse，这允许其他亚马逊云科技服务访问数据，以便在业务仪表板中可视化。现在，每天当销售人员登录时，他们都会看到需要优先跟进的线索，这将有助于他们获得更多交易并增加销售额。

Shannon强调，通过下一代SageMaker，客户可以在一个地方获得所需的一切，使他们能够协作解决复杂的端到端问题，而无需处理分散的数据系统的复杂性。这个下一代产品现已可预览，她迫不及待地想看看客户将如何利用它。

Swami感谢Shannon生动的演示，并对客户能够利用这个新的统一平台表示兴奋。他强调，虽然技术很强大，但他认为单凭技术是不够的 - 关键在于它如何在正确的时间和环境中得到应用，才真正产生影响。

这让Swami想起了Malcolm Gladwell在《引爆点》一书中提出的一个迷人概念 - 环境条件或背景在决定一个想法或创新是否会蓬勃发展方面至关重要。关键不仅在于拥有潜力，还在于这种潜力存在于一个能够培育和放大它的环境中。

Swami鼓励观众在自己的职业生涯中思考这种背景 - 什么是他们个人的引爆点，是什么时候环境恰到好处，促进了他们的成长和成功?也许是有一位相信他们并给予他们具有挑战性的项目的经理，或者加入了一家鼓励冒险和创新的公司，就像Swami在亚马逊的经历一样。

这个概念深深地引起了Swami的共鸣，特别是在思考教育时。就像他们所有人在职业生涯中都需要合适的环境来茁壮成长一样，学生们在这个生成式AI时代也需要合适的环境来茁壮成长。然而，从全球范围来看，Swami承认获得优质数字学习机会仍然是一个挑战。

根据联合国教科文组织的数据，全球有5亿学生无法通过数字学习获得教育，其中最多的是来自贫困和农村地区。这就是为什么亚马逊云科技长期致力于推进教育事业，赋予不同背景的学习者权能。

Swami强调了亚马逊云科技在这一领域的举措:

• 2023年宣布的AI Ready Initiative已经实现了为全球200多万学习者提供免费AI技能培训的目标。
• AI/ML奖学金计划已提供2800万美元的奖学金，帮助弱势学习者获得尖端AI技术。
• Amazon未来工程师计划已为来自代表性不足社区的未来建设者提供4600万美元的奖学金。

Swami很高兴地宣布，亚马逊云科技已经提前一年实现了为全球2900万人提供免费云计算技能培训的目标。他强调，这些不仅仅是数字 - 每个统计数据背后都有一个转型和影响的故事。

他举例说，AWSAI/ML奖学金获得者Piran Subodh正在利用AI来解决尼泊尔的水资源短缺问题，而Gideon Bayante则在开发一种AI解决方案，帮助识别电动汽车电池的二次生命应用，为全球范围内更可持续的技术使用铺平道路。事实上，Gideon就在现场观众中，Swami花时间认可了他令人赞叹的工作。

虽然对Gideon和亚马逊云科技在AI教育方面所取得的一切成就感到无比自豪，但Swami承认，还有更多工作要做。当前AI教育差距的规模需要创新解决方案，利用AI解决方案对于扩大教育覆盖面至关重要。

教育技术领域的许多组织都有学习愿景，准备好实施和部署，但由于资金有限，无法执行这些计划。亚马逊云科技知道他们可以帮助这些专注的组织触及更多全球学习者。

Swami很高兴宣布亚马逊云科技教育公平倡议。这一倡议将赋予组织构建和扩展面向全球弱势学习者的数字学习解决方案的能力。未来五年，亚马逊云科技将提供高达1亿美元的云计算学分，并提供来自亚马逊云科技专家的技术指导，以实现这一愿景。

该倡议将帮助减少财务障碍，并为这些组织提供构建和扩展教育解决方案所需的正确技术指导，如架构指导、AI和负责任AI实施的最佳实践，以及持续优化支持。

通过这一倡议，亚马逊云科技也很高兴能够加强与Code.org的长期合作伙伴关系。在过去十年中，亚马逊云科技一直在支持Code.org将免费计算机科学课程扩展到100多个国家的数百万学生。现在，在这一倡议的帮助下，Code.org正在使用Amazon Bedrock来自动评估学生项目，从而节省了数百个教师时间，这些时间现在可以用于个别指导和量身定制的学习体验。

该倡议还将赋予火箭学习组织权力，这是一个致力于印度早期儿童教育的组织，利用亚马逊 Q 和 QuickSight 提高300多万儿童的学习成果。Q 将帮助他们优化在不同语言、不同地区为儿童提供的内容类型，因为每个地区都有不同的细微差别。

通过生成式人工智能，亚马逊云科技 可以放大已经在全球范围内开展出色工作的组织的影响力。但是，Swami 承认，即使在美国，学生也经常会被忽视。

然后，他强调了另一家利用 Q 赋予教育工作者提高学生成绩的公司。正如一位曾经的一年级教师所分享的，教师是学生的顾问、支持系统，实际上是学生的一切。但挑战在于课间时间，只有10分钟的时间根据出勤、纪律访问到评估成绩等数据进行调整和调整教学，这非常令人不知所措。

但是，亚马逊云科技 和云计算对于将所有这些数字化并汇总到一个中央存储库至关重要。SchoolTool 是纽约州400多个学区使用的学生管理系统。通过 亚马逊云科技，他们一直在利用生成式人工智能获取洞见。

在 Q 和 QuickSight 之前，教育工作者必须花数周时间与数据工程师合作从系统中提取数据。现在，借助 Q 和 QuickSight 的强大功能，个人只需用简单的英语提出问题，就可以立即获得响应并轻松实现数据可视化。他们可以构建自己的仪表板，创建自己的“指挥中心”，使整个学区的每个人都可以在需要时获得所需的答案。

生成式人工智能和亚马逊 Q 的力量 以下是 Swami Sivasubramanian 主旨演讲的续篇:

生成式人工智能和亚马逊 Q 的力量在于让教师对数据更加熟悉。它将数据分析权力完全民主化到最终用户。

正如那位前教师所分享的，做一名教育工作者是最具挑战性但也最有回报的工作之一，拥有手边的数据将使你影响的学生更加成功。

Swami 表示，看到所有讨论的技术正在积极改变学生、客户甚至整个世界，从大规模训练基础模型的强大工具到彻底改变生产力的生成式人工智能助手，这确实令人鼓舞。

他强调，他们不仅塑造了现在，而且还为下一波技术先驱奠定了基础。作为这一历史性融合时刻的积极参与者，他们正在延续远古梦想家的事业，为新的创新铺平道路。

Swami 亲自感谢了 亚马逊云科技 合作伙伴和构建所有这些功能的出色团队，感谢他们为推动这一令人兴奋的转型做出的艰苦努力。他表示，迫不及待地想看看客户接下来将如何利用这些创新。

总之，Swami 强调了从大规模训练基础模型的强大工具到彻底改变生产力的生成式人工智能助手等技术的变革性影响。他感谢了 亚马逊云科技 合作伙伴和团队推动这一令人兴奋的转型，并对客户将如何利用这些创新实现下一步成就表示期待。

Swami 的主旨演讲彰显了 亚马逊云科技 在生成式人工智能领域的领导地位和愿景，展示了尖端技术、真实的客户案例，以及赋予全球学习者权力的承诺。他的叙述描绘了一个生成式人工智能将深刻影响行业、加速创新并在各个领域开启新可能性的未来。

下面是一些演讲现场的精彩瞬间：

Andy Jassy，亚马逊公司的首席执行官，在2024年re:Invent大会上强调了创新的颠覆性质以及组织需要拥抱变革的必要性。

亚马逊宣布Bedrock知识库现在支持结构化数据检索，能够对结构化数据进行自然语言查询，为更强大和智能的Gen AI应用程序提供支持。

使用检索增强生成(RAG)模型产生相关响应具有挑战性，因为信息分散在多个来源中，需要能够连接各种数据源以提供定制和相关的响应。

知识图谱使AI系统能够建立不同数据点之间的联系，提供客户信息的整体视图，并促进智能解决方案。

推出Bedrock知识库的Graph RAG，无需图形专业知识即可实现更准确和可解释的AI响应。

Rocket与亚马逊云科技合作，设计并构建可扩展的智能解决方案，专门针对其行业和客户，利用亚马逊云科技的专业知识和方法论，加快创新步伐，解决金融科技领域最棘手的挑战。

在这个鼓舞人心的时刻，演讲者强调了所讨论的变革性技术正在积极塑造当下，为未来的创新铺平道路，建立在过去梦想家和先驱者的工作基础之上。

总结

在一段引人入胜的叙述中，亚马逊云科技人工智能和数据副总裁Swami Sivasubramanian博士揭示了生成式人工智能与云计算的融合，开启了创新的新时代。他将这一时刻比作莱特兄弟开创性的首次飞行，几十年的研究终于迎来了这一变革性的时刻。亚马逊云科技正处于这一融合的前沿，提供全面的服务套件，助力客户构建和扩展基础模型。

SageMaker作为数据、分析和人工智能的中心，推出了突破性的功能，如Hyper Pod灵活训练计划，用于优化模型训练，以及Hyper Pod任务治理，用于高效分配资源。Bedrock作为生成式人工智能推理的基础构建块，推出了Prompt缓存、智能Prompt路由和数据自动化，简化了人工智能应用程序的开发。知识库现在支持结构化数据检索、Graph RAG和多模态数据，实现了多种数据源的无缝集成。

亚马逊云科技通过亚马逊云科技教育公平倡议等计划，体现了其对教育和公平的承诺，赋予组织构建和扩展数字学习解决方案的能力，惠及全球弱势学习者。现实案例展示了亚马逊云科技技术在金融、教育和医疗保健等行业的变革性影响。

在有力的结语中，Sivasubramanian博士强调，这一融合代表了历史性的关键时刻，亚马逊云科技不仅正在塑造当下，更为未来的创新铺平了道路，让它们腾飞。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。