亚马逊云科技-Graviton 4处理器Trinium 2

亚马逊云科技-Graviton 4处理器Trinium 2

关键字: [e2e, Graviton 4, Real-World Workloads, Performance Improvements, Security Enhancements, Graviton 4 Processor, Machine Learning Innovations]

本文字数: 1500, 阅读完需: 8 分钟

导读

在一场亚马逊云科技活动上,演讲者介绍了”Graviton 4 Processor Trinium 2”。演讲者阐释了亚马逊云科技自主研发的新一代Graviton 4处理器和Trinium 2加速器如何为诸如数据库、分析和机器学习等实际工作负载带来卓越的性能、安全性和效率。具体而言,与前代Graviton 3相比,Graviton 4在MySQL等工作负载上的性能提升高达40%,而Trinium 2加速器在训练大型AI模型时的速度则比上一代快4倍。该演讲重点阐述了亚马逊云科技定制硅产品Graviton 4和Trinium 2如何为计算密集型工作负载,如数据库、大数据分析和生成式AI等,提供更高性能、更好安全性和更低成本。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。

在云计算和高性能处理领域,亚马逊云科技(亚马逊云科技)一直走在创新的前沿,不断推进可能性的边界。演讲者深入探讨了亚马逊云科技处理器和基础设施产品的最新进展,阐明了在实际工作负载性能、机器学习和生成式人工智能等领域取得的显著进步。

演讲者强调了微基准测试和实际工作负载之间的性能差异,并指出后者面临的独特挑战。像Cassandra、Groovy和Nginx这样的工作负载会遇到分支预测器未命中、L1和L2缓存指令未命中以及TLB未命中等瓶颈,而微基准测试往往忽视了这些因素。这种差异凸显了分析和优化实际场景的重要性。

亚马逊云科技自主研发的Graviton处理器经历了重大进步,其中Graviton 4相较于前代Graviton 3展现出了卓越的性能提升。以在两种处理器上运行MySQL工作负载为例,Graviton 4在所有维度上表现出更低的敏感性,相比Graviton 3实现了40%的性能提升。这意味着Graviton 4能够在相同CPU数量下处理更多工作,彰显了亚马逊云科技为客户提供卓越性能的决心。

演讲者阐明,当亚马逊云科技声称”Graviton 4比Graviton 3快30%“时,这一数字是基于多个实际基准测试的平均值,而非单一微基准测试。这种方法确保了客户在采用Graviton处理器处理工作负载时,能够体验到所述的性能优势。

Graviton 4的核心数量增加了50%,L2缓存容量是Graviton 3的两倍,使实例能够扩展到之前可用的三倍CPU和三倍内存。这种扩展能力使客户能够以前所未有的性能和效率应对最苛刻的工作负载,如高性能数据库、内存缓存和大数据分析。

安全性是亚马逊云科技(Amazon Web Services)首要关注的重点,Graviton 4处理器在这一领域树立了新的标杆。它针对实际工作负载进行了优化,并加强了安全措施,包括验证、监控和保护主机启动过程的每个阶段。此外,所有高速物理硬件接口,如DRAM、Nitro卡和CPU之间的相干链路,均完全加密,确保数据得到可靠保护。

在一项重大公告中,演讲者介绍了Amazon EC2 R8g实例,这是采用新的Graviton 4处理器的EC2实例之一,目前处于预览阶段。这些实例提供了迄今为止亚马逊云科技打造的任何EC2实例中最佳的价格、性能和能源效率。它们提供高达30%的计算性能提升,并利用了亚马逊云科技部署的最快DDR5内存,为诸如大数据分析和高性能数据库等内存敏感型工作负载提供无与伦比的性能和效率。亚马逊云科技鼓励客户注册预览,亲身体验Graviton 4的强大实力。

转向机器学习(ML)和生成式人工智能(Generative AI)领域,演讲者向先驱数学家、理论计算机科学之父艾伦·图灵(Alan Turing)致敬。图灵开创性的工作为现代机器学习算法奠定了基础,为我们今天在生成式人工智能中见证的非凡能力铺平了道路。

亚马逊云科技在生产环境中应用机器学习已有20多年的历史,可追溯至其零售网站的早期阶段。如今,亚马逊云科技为云中训练和推理ML工作负载提供了高性能的ML基础设施。这一基础设施每年使超过10万名客户能够利用EC2基础设施构建、训练和部署ML工作负载和应用程序。在这一领域,增长速度令人惊叹,客户将ML训练工作负载扩展到超过10,000个GPU,参数量高达500亿,与2012年仅在两个GPU上运行、使用6000万个参数的模型形成鲜明对比。

亚马逊云科技与NVIDIA的长期合作伙伴关系一直是推动其ML创新的动力。作为将NVIDIA GPU引入云端的云提供商之一,亚马逊云科技继续突破界限,推出了最新的P5实例。P5实例由NVIDIA最新的H100 Tensor Core GPU提供支持,专门用于训练和部署复杂的大型语言模型和扩散模型,以支持高性能的生成式AI工作负载。与上一代相比,这些实例可加快4倍的解决方案时间,并降低高达40%的模型训练成本,使客户能够更快、更经济高效地实现目标。

在一项具有里程碑意义的公告中,演讲者揭示了亚马逊云科技与NVIDIA之间的新合作,进一步巩固了双方的合作伙伴关系。这一合作包括在G6实例中提供L4 GPU,在为Omniverse等工作负载设计的G6e实例中提供L40s GPU,以及在即将推出的P5e实例中提供新的H200 GPU。然而,这一合作的亮点是双方共同努力打造高性能的AI超级计算机。这台超级计算机将配备高达16,000个GH200超级芯片,将NVIDIA的ARM芯片Grace处理器与其Hopper GPU相结合,提供前所未有的65艾克萨级AI能力。

NVIDIA的DGX Cloud将托管在亚马逊云科技上,利用这款突破性的AI超级计算机。此外,亚马逊云科技的Elastic Fabric Adapter (EFA),为GPU实例之间提供高带宽、低延迟的网络连接,也将支持这台超级计算机。亚马逊云科技和NVIDIA将共同努力,将EFA和Nitro深度集成到系统中,确保无缝的性能和可扩展性。这一卓越的合作预计将于2024年在EC2上推出,开启AI计算能力的新时代。

与硬件创新相辅相成,亚马逊云科技在过去五年里一直在开发专门用于机器学习的定制硅芯片。Inferentia 1芯片是亚马逊云科技尝试定制ML硅芯片,专注于当时主要的工作负载——推理。去年,亚马逊云科技推出了基于Trinium的实例,将训练模型的成本降低了高达50%。随着AI模型中参数数量的持续增加,亚马逊云科技随后推出了Trinium实例的新变体,提供高达1,600Gbps的网络带宽,并且可以通过EFA将高达64,000个Trinium加速器互连成集群,提供非阻塞的Pb级网络。

最近,亚马逊云科技宣布了第二代专为生成式AI和ML训练而打造的亚马逊云科技Trinium 2处理器的可用性或预览版。这些实例将比上一代快四倍,进一步加快机器学习和生成式AI领域的创新步伐。

总的来说,亚马逊云科技对创新的不懈追求,为高性能计算、机器学习和生成式AI领域带来了处理器、实例和基础设施方面的卓越进步。Graviton 4处理器、R8g实例、搭载NVIDIA H100 GPU的P5实例、与NVIDIA合作即将推出的AI超级计算机,以及用于生成式AI和ML训练的Trinium 2处理器,都彰显了亚马逊云科技致力于提供前沿解决方案的决心,让客户能够在各个领域的实际工作负载中获得前所未有的性能、安全性、能源效率和成本优化。

下面是一些演讲现场的精彩瞬间：

通过对比真实工作负载与传统基准测试,我们可以发现它们受到完全不同一系列因素的影响,例如分支预测器失误、缓存和TLB未命中等,这与微基准测试所关注的因素有所区别。

图灵的开创性工作为当今的机器学习算法奠定了基础,他的想象力超越了机器的简单运算,探索了机器未来可能实现的学习和成就。

亚马逊和亚马逊云科技在机器学习生产方面拥有逾20年的经验,并为训练和推理ML工作负载提供了云端最高性能的基础设施。

英伟达和亚马逊云科技宣布了一项令人振奋的合作,将于2024年推出基于亚马逊云科技的DGX云服务,提供高性能的AI超级计算机能力。

总结

Graviton 4: 释放真实世界性能和安全性

亚马逊云科技最新的Graviton 4处理器为真实世界工作负载(如MySQL)带来了惊人的40%性能提升,超越了其前身Graviton 3。通过精心分析和优化真实世界场景,Graviton 4在传统微基准测试难以应对的领域脱颖而出,解决了分支预测、缓存未命中和前端停滞等瓶颈。凭借50%更多的内核、两倍的L2缓存和对更大实例的支持,Graviton 4为数据库、内存缓存和大数据分析等要求苛刻的工作负载提供了强大的动力。

此外,Graviton 4提高了安全性,对硬件接口进行加密并验证整个启动过程。新推出的R8g实例由Graviton 4驱动,为内存密集型工作负载提供了卓越的价格、性能和能源效率。随着亚马逊云科技在机器学习领域不断创新,配备NVIDIA H100 GPU的P5实例将大型语言模型和生成式AI的加速性能提高了四倍,降低了40%的训练成本。

在一项具有里程碑意义的合作中,亚马逊云科技和NVIDIA将共同打造世界上性能强劲的AI超级计算机,结合NVIDIA的Grace ARM处理器和Hopper GPU,提供高达65艾克萨级的AI能力。这台超级计算机将托管NVIDIA的DGX Cloud,并利用亚马逊云科技的Elastic Fabric Adapter实现高性能网络,从2024年开始彻底改变EC2上的AI工作负载。与此同时,亚马逊云科技专为生成式AI和ML训练而打造的定制Trinium 2处理器,将提供高达四倍的性能加速,进一步释放AI创新的巨大潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。