借助生成式 AI 加速创新

借助生成式 AI 加速创新

关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, 生成式AI, Amazon Bedrock, Generative Ai Applications, Foundation Models Choice, Enterprise Data Integration, Responsible Ai Capabilities, Machine Learning Infrastructure]

导读

随着生成式 AI 的出现,机器学习(ML)的广泛采用正处于转折点。与亚马逊云科技人工智能和机器学习服务副总裁 Bratin Saha 博士一道,聆听各个行业的客户如何利用人工智能和机器学习(包括生成式 AI)的最新突破,助他们转型业务。探索最新的亚马逊云科技创新,听取头部客户的意见,探索人工智能/机器学习的发展方向。

演讲精华

以下是小编为您整理的本次演讲的精华。

过去5年来,云计算推动了计算、数据和机器学习领域的前所未有的加速,使得基于互联网规模数据训练的大型基础模型得以诞生。正如Brian所阐述的,用于机器学习的计算量增长了10万多倍,用于训练模型的数据量增加了100多倍,模型的大小扩大了1000多倍 - 这是信息技术史上前所未有的创新步伐。

这种飞速发展为开发基于万亿字词训练的模型铺平了道路,这些模型所包含的信息量是人类一生所能接触到的数十亿字词的数千倍。为了形象地说明这一点,这些基础模型的训练数据规模达到了数TB,是维基百科内容的数千倍。

当这些模型被装载如此庞大的信息库时,它们展现出了引人入胜的特性,引发了如何从中构建应用程序的疑问。Brian阐明了亚马逊云科技的方法,借鉴了Amazon Q(一种通过生成式AI转变员工访问和交互公司数据方式的应用程序)的开发经验。

首先要考虑的是模型的选择和灵活性,正如两个基础模型对”什么是鞋子退货政策?“这一查询给出的不同回答所示。Model 1给出了简洁的答复:”30天内免费退货”,而Model 2则提供了更长、更全面的回答。两个答案都是准确的,但最佳模型选择取决于预期应用 - 广告文案生成需要简短、精炼的陈述,而客户服务聊天机器人则需要冗长的互动。

此外,当被问及”你们的回访政策是什么?“时,Model 1给出了快速、准确的答复,而Model 2更完整的回答则需要计算量高出一个数量级,从而大大增加了成本。这凸显了广泛测试和从使用案例反向推导以确定最合适模型的重要性。

亚马逊云科技评估了用于Amazon Q的众多模型,发现虽然有些模型在成本效益方面表现出色,但其他模型则更完整、更少出现幻觉(准确性更高)或更简洁。最终,亚马逊云科技选择了一种成本效益较高的模型,并在其他维度上进行了优化,这种做法可能会被构建自己应用程序的客户复制。

与最初期望使用单一大型模型不同,Amazon Q的开发需要使用多个异构模型,每个模型专门用于特定任务 - 这种架构类似于人脑,其中不同区域专门负责推理、自发响应等不同功能。

优化不仅体现在模型设计上,还体现在数据工程方面,亚马逊云科技在构建企业数据连接器、数据处理、数据预处理、数据后处理和数据质量检查方面投入了大量精力。这对于Amazon Q从多个来源汇总数据并提供有用答复至关重要,例如”告诉我明天上午10点的客户会议情况”这一查询需要访问日历、客户关系管理系统和公司文档数据。

访问控制和负责任的AI也是重要考虑因素,正如”本季度产品预期收入是多少?“这一查询所示。作为公司机密信息,访问需要根据用户权限进行限制,因此需要集成访问管理、阻止主题和负责任AI功能。

Ryanair是世界上最大的航空公司之一,他们分享了使用Amazon Bedrock进行创新的经验。Ryanair的首席技术官John Hurley强调,他们使用Sagemaker进行动态定价,计算出100多万个不同的价格点,并用于预测性维护。Bedrock还被用于构建员工应用程序,为机组人员和飞行员提供一个集班次、时间表、休假预订和基地转移系统于一体的平台。

此外,Ryanair利用Bedrock创建了员工机器人,使机组人员能够在旅行时通过手机询问有关程序、仪容指南和产品销售的问题,并获取相关信息。Hurley表示,鉴于Amazon Q最近宣布推出,他们对于可能会更新使用方式感到兴奋。

著名金融服务公司Fidelity Investments强调了强大的数据策略和平台对于推动AI创新的重要性。Fidelity AI创新主管Vipin Mayer强调了三个关键方面:收集和组织非结构化数据(如数字化通话和文本流)、建立企业分类法以实现KPI一致性和语义层、以及通过查询工具和围绕数据元素的社交互动实现数据营销。

Fidelity的生成式AI工作包括为服务代表提供对话式问答、为开发人员提供编码和代码迁移帮助、通过对话界面实现语义搜索,以及具有人机协作功能的内容生成。然而,Mayer承认存在诸如大型语言模型创新步伐过快、平衡大型模型和特定任务模型、管理成本和容量,以及缓解幻觉等挑战。

现代工作助手Glean结合了企业搜索和生成式AI,解决了客户在准确性、模型选择和数据安全方面的疑虑。Glean的首席执行官Arwin Jan解释了他们使用检索增强生成的做法,为大型语言模型提供相关知识和约束,以生成由强大的企业搜索引擎(利用Sagemaker和Bedrock模型)支持的准确响应。

内联引用和排除未引用信息等后处理技术进一步提高了准确性。在模型选择方面,Glean允许客户使用任何通过内部准确性测试的模型,这得益于Bedrock庞大的模型库。数据安全通过Bedrock的合规性认证、加密支持以及为每个客户提供专用的亚马逊云科技环境来确保,防止数据泄露。

科技创新研究所(TII)分享了他们使用Sagemaker构建开源大型语言模型Falcon的经历。TII首席AI研究员兼执行董事Eptassam Al Mazrui博士详细介绍了他们如何利用亚马逊云科技的加速计算基础设施处理PB级网络数据,生成约12TB的数据,相当于约5万亿个标记 - 相当于300万本平均400页的书籍。

这些数据用于在大规模、高性能计算集群上训练从7B到1800亿参数的Falcon大型语言模型,达到166万亿次浮点运算的峰值 - 如果一个人每5秒解决一个数学问题,要完成这一计算量将需要22000多年。利用Sagemaker实时推理和人工评估,确保了包括1800亿参数模型在内的Falcon大型语言模型(世界上最大、表现最佳的开源模型)的有效性和道德合理性。

亚马逊云科技的机器学习硬件基础设施包括用于最快推理的GPU实例G5、用于最快训练的P5,以及用于推理的定制加速器Amazon Inferentia和用于训练生成式AI模型的Amazon Trainium,提供高达50%的更佳性价比。软件基础设施Sagemaker提供了全面管理的端到端机器学习服务,新的专门构建的功能如Sagemaker Hyperpod通过优化的分布式训练库和自动自愈集群,加速了生成式AI训练近40%。

Sagemaker还通过在同一实例上部署多个基础模型并进行智能路由和资源分配,将大型语言模型推理的成本降低了近50%,延迟降低了近20%。

在医疗保健领域,软件提供商Netsmart正在使用Amazon Healthscribe和Bedrock来提高临床生产力并优化结果。Netsmart的首席运营官Tom Herzog强调,目前医疗服务提供者将40%以上的时间(每周2天)花在手工文档编制上,这些时间本可用于护理患者。Amazon Healthscribe使用AI分析医患对话,为电子健康记录生成临床总结,从而简化了文档编制流程。

Netsmart选择这些工具是因为它们现成、专门构建、可扩展,并且能够与医疗保健生态系统集成。Herzog设想,在远程医疗会诊期间,信息可以被系统地、准确地捕获,而Bedrock的功能可以呈现相关的历史数据,建议适当的治疗计划,从而改变协作方式并减少手工流程。

总之,亚马逊云科技协助客户构建和扩展面向企业的生成式AI的策略围绕五个关键考虑因素:模型的选择和灵活性、利用和区分数据、整合负责任的AI实践、获取低成本和高性能的机器学习基础设施,以及在各种工作流程中利用生成式AI驱动的应用程序。

下面是一些演讲现场的精彩瞬间:

亚马逊利用 SageMaker 预处理了数万亿网络数据,相当于300万本平均400页的书籍,并在大规模高性能计算集群上训练了7B、40B和1800亿参数的Falcon NLM模型,实现了166万亿次浮点运算每秒的计算能力。

亚马逊 SageMaker Canvas 无代码界面现在支持生成式人工智能模型,让非专业人士也能轻松构建和定制机器学习模型。

在这一刻,演讲者提出了一个务实的想法和解决方案,即医疗服务提供者每周有两天的时间被用于文书工作,而非直接为患者服务,并强调了提高背景信息意识的重要性。

通过利用HealthScribe和Amazon Bedrock等工具解决方案,我们有独特的机会将2天的时间归还给护理人员,从而让他们能够照顾更多的人,并简化出院流程,实现无缝协作。

通过利用Amazon Bedrock工具,医生可以在远程诊疗时系统地获取患者的相关信息,从而为患者制定出正确的治疗方案。

您希望能够自由选择和灵活使用各种模型,利用自己的数据进行差异化,将负责任的人工智能集成到应用程序中,并能够访问低成本且高性能的机器学习基础设施,在许多情况下,您还希望能够使用我们为呼叫中心、个性化、文档处理、医疗保健等领域提供的生成式人工智能应用程序。

总结

人工智能生成技术的出现,开启了一个变革性的时代,催生了快速创新和前所未有的能力。本次演讲深入探讨了在企业环境中利用人工智能生成技术潜力的考虑因素和策略。它强调了模型选择、数据集成、负责任的人工智能实践、健壮的基础设施以及利用预构建应用程序的重要性。

演讲者强调了谨慎评估模型的必要性,因为每个模型都具有独特的优势和劣势。优化成本效益、完整性、准确性和延迟至关重要。类似于人脑的专门化组件,异构模型架构通常可以带来更好的性能。

整合企业数据至关重要,因为人工智能生成应用程序必须从多个来源汇总信息,以提供全面的响应。访问控制和数据治理至关重要,确保用户只能获取经授权的信息。

负责任的人工智能实践,如减轻幻觉和遵守道德准则,对于构建值得信赖和可靠的系统至关重要。低成本、高性能的基础设施支撑着人工智能生成技术部署的可扩展性和效率。

最后,演讲者倡导利用来自亚马逊云科技的预构建人工智能生成应用程序,专门用于医疗保健、客户服务中心和文档处理等工作流程,使企业能够迅速利用这一变革性技术的力量。

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务,服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选,通过生成式AI技术栈,提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国,亚马逊云科技通过安全、稳定、可信赖的云服务,助力中国企业加速数字化转型和创新,并深度参与全球化市场。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值