借助生成式 AI 加速创新

借助生成式 AI 加速创新

关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, 生成式AI, Amazon Bedrock, Generative Ai Applications, Enterprise Data Connectors, Responsible Ai Capabilities, Machine Learning Infrastructure, Choice And Flexibility Of Models, Differentiating With Your Data, Integrating Responsible Ai, Low-Cost Machine Learning, Generative Ai Adoption]

导读

随着生成式 AI 的出现，机器学习（ML）的广泛采用正处于转折点。与亚马逊云科技人工智能和机器学习服务副总裁 Bratin Saha 博士一道，聆听各个行业的客户如何利用人工智能和机器学习（包括生成式 AI）的创新突破，助他们转型业务。探索亚马逊云科技的创新，听取客户的意见，探索人工智能/机器学习的发展方向。

演讲精华

以下是小编为您整理的本次演讲的精华。

科技世界在计算、数据和机器学习领域经历了前所未有的创新加速，这得益于云计算的兴起。在过去六年中，用于机器学习的计算量飙升了超过10万倍，而用于训练机器学习模型的数据量也激增了100多倍。更令人瞩目的是，模型本身的规模扩大了1000多倍，使得基于互联网规模数据训练的基础模型成为可能。

为了更好地理解这些基础模型的规模，一个人在整个一生中听到的词语大约在10亿到20亿个词之间。然而，在训练这些基础模型时，它们接触到的词语数量达到了万亿级别，是一个人一生遇到的信息量的数千倍。此外，这些模型是在训练数据量达到了TB级别的情况下训练的，比维基百科庞大的知识库包含的信息多数千倍。

亚马逊云科技一直处于构建生成式AI应用程序的前沿，他们在这一过程中汲取的经验教训和考虑因素为客户构建和扩展自己的生成式AI应用程序提供了宝贵的指导。其中一个应用程序是本周早些时候推出的Amazon Q，它利用生成式AI改变了员工访问和与公司数据互动的方式。使用Q，用户可以提出问题、创建内容，甚至代表公司的数据采取行动。

在构建Amazon Q的过程中，亚马逊云科技必须解决从何处开始以及如何选择基础模型这一关键问题。这个决定并非易事，因为每个模型都有自己独特的优势和劣势，需要进行大量实验来确定最适合特定用例的模型。Sagar通过不同模型对同一查询给出不同响应的示例说明了这一点，有些模型更加简洁，而另一些则更加完整但计算成本更高，因此更加昂贵。

亚马逊云科技根据成本效益、完整性、低幻觉(准确性)、简洁性和延迟等参数评估了众多模型。最初的模型在某些方面表现出色，但在其他方面却存在不足，最终亚马逊云科技选择了在成本方面表现良好的模型，然后在其他维度上对其进行优化。

与最初使用单一大型模型的假设相反，亚马逊云科技最终采用了多个模型，每个模型专门用于特定任务，类似于人脑异构结构中不同部分专门用于不同功能的情况。

亚马逊云科技为Q进行的另一项关键优化是大量的数据工程。Sagar用一个示例说明了这一点，其中Q需要访问用户的日历、客户关系管理(CRM)系统和其他公司文档等多个数据源，以提供有用的答复。因此，亚马逊云科技花费了大量时间构建企业数据连接器、数据处理、数据预处理、数据后处理和数据质量检查，以确保Q能够快速高效地访问正确的数据。

即使解决了机器学习模型设计和数据工程问题，亚马逊云科技意识到还有更多工作要做。Sagar以用户要求Q提供预期收入数字(属于公司机密信息)为例。在这种情况下，Q需要尊重数据的访问控制策略，只提供用户有权访问的答复。这就需要构建访问管理、阻止敏感主题以及集成负责任的AI功能。

亚马逊云科技在构建Amazon Q等生成式AI应用程序的过程中，凸显了加速生成式AI之旅的关键考虑因素:模型的选择和灵活性、利用和区分数据的能力、将负责任的AI集成到应用程序中、获得低成本和高性能的机器学习基础设施，以及可用的生成式AI应用程序。

针对第一个考虑因素——模型的选择和灵活性，亚马逊云科技推出了Amazon Bedrock，它提供了一系列先进的基础模型，可以直接使用或根据客户的数据进行定制，还有可以代表客户行事的Bedrock代理。

Ryanair首席技术官John Hurley分享了该航空公司如何利用Amazon Bedrock进行创新。Ryanair每年运送1.85亿乘客，并计划增长到3亿乘客，他们一直在利用SageMaker进行动态定价(每24小时计算超过100万个不同的价格点)、预测性维护和新鲜食品包装。在COVID-19疫情期间，当Ryanair不得不为超过2000万乘客处理退款时，亚马逊云科技的云技术使他们能够快速创新和适应。

Ryanair使用Bedrock构建了一个员工应用程序，为机组人员和飞行员提供访问工作计划、日程安排、申请休假和调换基地的功能。他们还使用Bedrock开发了一个员工机器人，允许员工询问与销售产品、整容指南和访问之前分散在各个平台上的文档相关的问题。Hurley对生成式AI处理客户查询的潜力表示兴奋，估计每天10-15%的电话与实际网站无关，生成式AI可以提高整体客户体验。

第二个考虑因素——利用和区分数据，由Fidelity Investments的Whippin Mayer阐述。Mayer强调拥有良好的数据策略、数据平台和数据质量对于在AI领域取得卓越成就的重要性。他强调了三个关键领域:收集和组织非结构化数据(如数字化通话和流式非结构化文本)、建立企业分类法(具有一致的关键绩效指标和语义层)以及通过查询工具和围绕数据元素的社交互动实现数据营销。

在生成式AI方面，Fidelity正在研究面向服务代表的对话式问答对、用于编码、代码迁移和翻译的开发人员辅助、通过对话界面呈现的语义搜索，以及具有人工环节的内容生成。Mayer承认大型语言模型(LLM)快速创新所带来的挑战、平衡大型模型和小型特定任务模型的需求、成本管理、防止幻觉以及使用SageMaker和Bedrock等工具进行快速实验和评估的重要性。

第三个考虑因素——集成负责任的AI，通过宣布SageMaker Clarify能够评估基础模型来解决，Amazon Bedrock也提供了相同的功能。Glean的首席执行官Arwin Jan讨论了他们在将生成式AI集成到企业搜索助手时如何解决准确性、模型选择和数据安全方面的顾虑。

Glean使用检索增强生成为LLM提供正确的知识并约束其输出，后台由一个强大的企业搜索引擎支持，该引擎利用SageMaker训练语义语言模型和来自Bedrock的LLM模型等技术。对LLM响应进行后处理，添加内联引用并排除未引用的信息，确保了准确性。Bedrock庞大的模型库使Glean能够为每个客户选择最合适的模型，满足其独特的需求和约束。此外，Bedrock的合规性认证和对加密的支持有助于确保数据安全，每个Glean客户的数据和定制模型都保留在自己的安全环境中，同时连接数百个不同的应用程序并尊重访问控制。

第四个考虑因素——获得低成本和高性能的机器学习基础设施，通过亚马逊云科技的硬件基础设施得到解决，包括用于最快推理的GPU实例(如G5)和用于最快训练的P5，以及用于生成式AI推理(Amazon Inferentia)和训练(Amazon Trainium)的定制加速器。这些定制加速器提供高达50%的更佳成本性能。

亚马逊云科技的软件基础设施SageMaker与硬件实例形成互补，为构建、训练、调优和部署各种模型(包括生成式模型)提供了全面管理的端到端机器学习服务。早前推出的SageMaker Hyperpod通过优化的分布式训练库和自动自愈集群加速了生成式AI训练，提高了近40%的速度，确保了在涉及数万个节点和数月训练时间的长期训练运行期间的弹性。

SageMaker还推出了优化措施，将大型语言模型推理的成本降低了近50%，延迟降低了20%，这是通过将多个基础模型分配到同一实例、控制每个模型的资源分配以及智能路由传入请求到最不繁忙的实例来实现的。

科技创新研究所(TII)首席AI研究员兼执行董事Eptassam Al Mazrui博士分享了他们构建开源Falcon LLM的历程。TII利用亚马逊云科技的加速计算基础设施和SageMaker进行数据预处理、模型训练(包括1800亿参数的Falcon模型)和评估。Al Mazrui博士强调了远见卓识、充足的实验能力、严格的评估协议以及与亚马逊云科技等供应商合作推动世界一流生成式AI创新的重要性。

TII于2022年开始构建Noor，这是世界上最大的阿拉伯语大型语言模型之一，利用云计算的强大能力处理海量数据、训练具有数十亿参数和万亿令牌的模型。为了让您更好地理解，用于训练Falcon大型语言模型的数据约有5万亿令牌，相当于约300万本平均400页的书籍。得益于优化的亚马逊云科技基础设施，TII实现了高达166万亿次浮点运算的计算性能，这相当于一个人在5秒内解决一个数学问题，而集群在1秒内的输出需要22，000年才能与之匹配。

TII的Falcon大型语言模型参数范围从70亿到400亿和1800亿，需要扩展计算能力至4，000个GPU。经过使用SageMaker和人工评估的严格模型评估后，TII的1800亿参数Falcon模型现已作为SageMaker JumpStart的一部分提供，并在Hugging Face上被下载超过2000万次，展现了对开源大型语言模型的强烈需求和兴趣。

SageMaker Canvas是一个无代码界面，用于构建和部署机器学习模型，现已扩展到基础模型，使生成式人工智能对于可能不精通编码或机器学习的数据分析师、业务分析师、金融分析师和公民数据科学家等非专业人员也变得可及。

最后一个考虑因素是使用生成式人工智能驱动的应用程序，通过推出Amazon Comprehend Medical来解决，它使用生成式人工智能来加速临床生产力。Netsmart的首席运营官Tom Herzog讨论了他们如何将Amazon Comprehend Medical和Amazon Bedrock集成到他们的医疗保健解决方案中。

目前，当患者看医生时，医患互动必须手动记录，医生要花费高达40%的时间进行这项手工操作，而这些时间本可以更好地用于护理患者。Amazon Comprehend Medical自动分析这些对话，并使用生成式人工智能创建可上传到电子健康记录的临床总结。

Netsmart为超过754，000名提供者服务，影响了1.33亿人的生活，不仅涉及传统医疗，还包括社区服务、公共卫生、智力发展和残障需求、寄养或家庭护理服务、长期护理和临终关怀等领域。通过集成Amazon Comprehend Medical和Amazon Bedrock，Netsmart旨在简化文档流程、改善协作并优化治疗计划，从而为护理人员节省目前用于手工流程的时间。

Herzog强调，每年将有超过5000万人面临精神健康疾病或危机，超过60%的青少年未能就抑郁或焦虑等问题获得治疗，近25%的成年人未能获得所需治疗或未意识到自己需要治疗。Netsmart的解决方案旨在通过引入极简用户体验来减轻提供者的负担、加快并改善结果、简化出院流程，并通过消除手工流程来改革协作，从而应对这些挑战。

Netsmart选择Amazon Comprehend Medical和Bedrock是因为它们提供了现成的、专门构建的解决方案，可插入现有系统、能够扩展性能，并可在整个生态系统中无缝集成。一个使用案例是远程医疗会话，系统可以系统地和准确地捕获信息，从CRM和其他公司文档中提取相关历史数据以建议正确的治疗计划，同时遵守访问控制和数据政策。

总之，亚马逊云科技为企业构建和扩展生成式人工智能概述了关键考虑因素:通过Amazon Bedrock提供模型选择和灵活性、利用数据进行使用和区分、通过SageMaker Clarify集成负责任的人工智能、访问高性能和低成本的机器学习基础设施SageMaker，以及提供生成式人工智能驱动的应用程序如Amazon Comprehend Medical。通过解决这些考虑因素，企业可以借助亚马逊云科技在构建应用程序(如Amazon Q)的经验和来自Ryanair、富达投资、Glean、TII和Netsmart等客户的经验教训，加速生成式人工智能的创新。

下面是一些演讲现场的精彩瞬间：

在重新发现2024大会上，亚马逊首席执行官展示了亚马逊泰坦人工智能模型的强大功能，为即将到来的人工智能时代描绘了令人兴奋的愿景。

重量级企业如瑞安航空、富达投资、Glean、TRI和NetSmart将分享他们在选择和灵活性模型、利用数据创造差异化、企业中负责任的人工智能、机器学习基础设施以及在医疗保健领域应用生成式人工智能等方面的经验和见解。

在过去6年中，云计算推动了创新的步伐，机器学习所使用的计算能力增长了10万倍以上，训练机器学习模型所使用的数据量增长了100倍以上，模型的大小也增长了1000倍以上，这是信息技术史上前所未见的创新步伐，使我们能够创建基于互联网规模数据训练的基础模型。

通过举例说明，不同的基础模型在回答同一个问题时会给出不同长度的回复，这取决于所需应用程序的目的。

假设我问:“这个季度产品的预期收入是多少?”这是公司的机密信息。

总结

云计算推动了生成式人工智能创新的快速发展,使得基于海量数据集训练的强大基础模型得以诞生。然而,构建和扩展企业级生成式人工智能应用程序需要谨慎考虑以下几个关键因素:

首先,选择合适的基础模型至关重要,因为每个模型都有自身的优势和劣势。需要进行大量实验来确定最佳模型,权衡成本效益、完整性、准确性、简洁性和延迟等因素。亚马逊云科技的Amazon Bedrock提供了一系列先进的基础模型和工具,用于构建可扩展的应用程序。

其次,利用和区分专有数据至关重要。亚马逊云科技提供了全面的数据存储、查询、分析和治理服务,使客户能够构建强大的数据平台来驱动机器学习模型。例如,富达投资公司大力投资收集和组织非结构化数据,建立企业分类法,并实现数据市场化。

第三,将负责任的人工智能原则融入应用程序至关重要。这包括实施访问控制策略、屏蔽敏感主题,并确保解决道德考量。例如,亚马逊云科技的Amazon Q尊重数据访问控制策略,只提供用户有权接收的答复。

第四,获得低成本和高性能的机器学习基础设施对于扩展生成式人工智能至关重要。亚马逊云科技提供了优化的基础设施和服务,如SageMaker,可高效训练和部署基础模型。

最后,亚马逊云科技提供了基于生成式人工智能的应用程序,如Amazon HealthScribe,利用人工智能从医患对话中自动生成临床总结,从而加快临床生产力。像Netsmart这样的公司正在利用这些应用程序来简化医疗保健工作流程,改善患者结果。

总之,亚马逊云科技致力于帮助客户解决构建和扩展企业级生成式人工智能的关键考虑因素,使他们能够加速创新,同时解决模型选择、数据利用、负责任的人工智能、基础设施和应用程序开发等关键因素。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。