亚马逊FSx提供的云端网络附加存储

亚马逊FSx提供的云端网络附加存储

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Amazon FSx， Network Attached Storage， File System Performance， Cost Optimization Capabilities， Service Integration Agility， Infrastructure Automation Support]

导读

您是否需要大规模将基于文件的工作负载迁移到云端？Amazon FSx是一系列全托管服务，无需更改应用程序或代码，即可提供共享存储、数据弹性和管理兼容性。在本次会议中，您将从行业专家那里了解如何通过探索来自媒体和娱乐、教育、医疗保健和生命科学以及电信客户的用例示例，来提高敏捷性、降低成本并实现自动扩展。参加完本次会议后，您将更有信心制定自己的迁移计划。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不懈追求数字化转型的过程中，数据已成为现代企业的基石，推动了高性能计算(HPC)、分析、人工智能(AI)、机器学习(ML)和数据库等多个领域的应用。组织正面临着前所未有的数据量激增，全球每年新增数百万亿字节数据，其中相当一部分是文件数据。这种加速可归因于多种因素，包括企业IT、用户共享和应用程序数据库的有机增长，以及视频和媒体、AI/ML采用、自主仿真、物联网(IoT)和连接设备等数据密集型用例的激增。根据视频，亚马逊云科技预计这种数据在未来几年将翻一番。

文件存储的持久普及可追溯到它50年的悠久历史，以及现代应用程序与文件系统交互并利用诸如服务器消息块(SMB)和网络文件系统(NFS)等操作系统文件协议的固有设计。这些协议预装在任何操作系统中，使应用程序能够无缝访问和共享跨多个用户和应用程序的数据。文件系统通过提供简单的共享访问和高性能，满足了从企业IT、用户共享、主目录、企业IT应用程序、能源、医疗保健、金融和制造业等行业的业务线应用程序，到机器学习、软件即服务(SaaS)产品、软件构建环境、数据科学和分析工作流程以及DevOps平台等现代应用程序的各种企业用例需求。大多数文件系统需要能够支持数百甚至数千种不同的用户和协议，并能够跨云中单个存储阵列或云内外多个不同阵列实现这一点。

然而，加速本地文件存储带来了一系列独特挑战。预测未来增长需求并提供足够的存储容量是一个微妙的平衡，因为过度配置会导致资源浪费，而配置不足则可能导致性能瓶颈。随着数据集增长和引入更多驱动器和系统，跨不同存储系统和数据中心保持弹性和确保安全性变得越来越复杂。优化存储成本并从分散在多个阵列中的数据中获得可操作的见解是一项艰巨的任务。此外，切换NAS解决方案是一个漫长的过程，通常需要数月或数年时间，因为每个解决方案都提供了一套独特的数据访问功能、性能配置文件和数据管理API，需要重新认证、重新架构、重新培训，并可能中断现有工作流程。

为了应对这些挑战，亚马逊云科技通过Amazon FSx(File System X)在云中提供全面托管的文件存储。FSx代表“File System X”，其中“X”代表客户选择的工作负载。这项创新服务使客户能够启动、运行和扩展功能丰富、高性能、经济高效且完全托管的文件系统，使用他们目前在本地使用的常见文件系统和操作系统(OS)，如NetApp ONTAP、Windows文件服务器、OpenZFS和Lustre。

一个值得关注的客户成功案例是澳大利亚建筑公司John Holland Group，该公司在亚太地区提供服务。他们在亚马逊云科技上运行了90多个关键业务应用程序，最初是在Amazon Elastic Compute Cloud (EC2)实例上自行管理，计划迁移到FSx for Windows File Server。然而，一次意外中断迫使他们迅速恢复，由于John Holland Group与亚马逊云科技专业服务的合作，他们在几天内就完成了恢复，而最初预计需要11-54个月。通过直接从备份中恢复到FSx，他们能够无缝过渡到完全托管的解决方案，而无需进行任何架构更改。这一迁移不仅使他们的工程师能够专注于创造业务价值，还免去了持续管理文件系统的负担。

数据库是FSx的另一个重要用例，Oracle、SAP HANA和SQL Server尤其受欢迎。一家医疗保健组织有一个严重依赖SQL Server故障转移群集的关键任务系统，他们希望将其迁移到亚马逊云科技，同时保持相同的性能、恢复点目标(RPO)和恢复时间目标(RTO)。最初，他们考虑重新架构为SQL Server Always On可用性组，这是一种不同的可用性技术，但相关成本过高。通过利用FSx for Windows File Server，他们能够继续使用故障转移群集，将SQL Server许可证从企业版降级为标准版。这种方法还使他们能够减少所需的EC2实例和SQL Server许可证数量，节省超过300万美元的成本。尽管使用FSx for Windows File Server的SMB协议，但他们实现了40，000 IOPS的持续性能，满足了关键任务性能需求，同时符合RPO和RTO要求。

业务线应用程序是推动FSx采用的另一个重要因素。澳大利亚新南威尔士州的医疗保健组织eHealth NSW需要迁移1.3PB的医疗影像数据，作为企业图像存储库(EIR)迁移的一部分。通过利用FSx for NetApp ONTAP，他们能够使用NetApp的本地SnapMirror复制软件无缝复制数据。这一迁移不仅带来了10倍的性能提升，而且由于避免了应用程序基础设施的各种成本，总体效益达到1600万美元。

数据保护是组织的一个关键考虑因素，FSx在这一领域提供了强大的解决方案。领先的酒店公司Marriott International需要将法律文件共享从包括Isilon和NetApp在内的不同系统迁移到亚马逊云科技。通过利用亚马逊云科技存储评估(一项免费服务，分析组织的存储环境以了解容量和性能配置文件)，他们发现了超出最初估计的800TB数据。根据评估的建议，Marriott International将数据迁移到FSx for NetApp ONTAP，对于NetApp系统使用SnapMirror，对于Isilon系统使用Amazon DataSync。一旦进入云端，他们就能够通过在区域之间使用NetApp SnapMirror复制数据，满足RPO和RTO要求，确保符合数据保护法规。

Amazon FSx团队的主要产品经理Nikhil Srivastava深入探讨了三个关键投资领域:性能可扩展性、成本优化和敏捷性。在性能可扩展性方面，FSx服务旨在支持性能密集型、高度要求的应用程序，同时提供卓越的性能。亚马逊云科技不断提高其FSx服务系列的性能标准，利用存储、网络和计算领域的最新创新。这些进步使性能限制显著提高，包括单个文件系统的吞吐量高达4GB/秒、单个文件系统的IOPS高达110万IOPS，以及能够独立扩展不同维度，如将SSD IOPS与存储容量分离，单个文件系统容量高达128PB。

FSx for NetApp ONTAP的横向扩展架构就是性能可扩展性的一个典型例子。在这种架构中，客户可以部署多个高可用(HA)对，每个对由一个活动文件服务器和一个用于数据复制和故障转移的备用服务器组成。这些HA对属于单个文件系统，提供统一的接口和命名空间。通过添加更多HA对，客户可以在单个文件系统内实现高达18倍的读取吞吐量(72GB/秒)、12倍的写入吞吐量(48GB/秒)和14倍的IOPS(1540万IOPS)，满足最苛刻的工作负载需求。

ARM是一家总部位于英国的半导体公司，以设计ARM架构系列而闻名。他们利用FSx for NetApp ONTAP的横向扩展能力，为电子设计自动化(EDA)工作负载扩展计算能力。通过使用亚马逊云科技现代化基础设施，ARM相对于本地环境实现了50%的工作负载执行时间改进，并且每天可以扩展到1000万个EDA作业集，这是EDA工作流程的关键单位。

电动汽车制造商Rivian也从FSx for NetApp ONTAP的横向扩展架构中受益，用于产品生命周期管理(PLM)和计算机辅助工程(CAE)模拟。FSx使他们能够实现24%更快的模拟时间，并显著缩短了研究和生产工作负载之间的开发和测试配置时间。

成本优化是FSx另一个出色的领域，为不同类型的工作负载提供了广泛的功能。对于用户共享工作负载，客户可以通过利用文件重复数据删除技术实现高达80%的存储成本节省。而对于可能不太受益于重复数据删除或压缩的数据库工作负载，客户可以利用动态资源配置来根据数据库需求的波动进行扩展，从而节省成本。

FSx提供了文件系统原生功能，如压缩、重复数据删除、精简配置和存储配额，以及在亚马逊云科技上完全托管文件存储的优势。客户可以选择存储类型(SSD或HDD)来支持其文件系统，选择部署类型(单个或多个可用区)，受益于完全弹性备份存储，并随着业务需求的发展动态扩展存储和性能。

在亚马逊云科技 re:Invent 2024上的一项突破性公告中，亚马逊云科技推出了Amazon FSx Intelligent Tiering，这是FSx托管NAS系列的新存储类。最初适用于FSx for OpenZFS，Intelligent Tiering将完全托管的文件存储与完全弹性、智能分层和低成本存储相结合。这一创新功能可帮助客户将成本降低高达80%，比他们在FSx for OpenZFS上现有的基于SSD的存储节省成本，比传统的本地基于HDD的NAS部署节省成本高达20%。

Intelligent Tiering通过根据消耗自动增加和缩小存储容量来工作，从而消除了预先配置的需求。它智能地将数据分层到三个内置层:频繁访问、不频繁访问和即时访问存档。数据落入频繁访问层，如果30天内未被访问，则自动移至不频繁访问层，如果再过60天仍未被访问，则移至即时访问存档层。无论在哪个层，数据都可即时检索，无需任何访问费用或层间数据移动费用。在每个层中，客户只需为实际使用的数据量付费，文件系统包括一个SSD写入日志，可实现低至毫秒级的低延迟写入，并可选择配置SSD读取缓存，用于频繁访问的数据。

总部位于圣路易斯的电信公司Amdocs利用了FSx for OpenZFS的成本优化功能，降低了用于测试、开发和报告目的的高性能数据库副本的复杂性、成本和恢复时间。他们需要10多GB/秒的高吞吐量。通过独立配置容量、吞吐量和IOPS，他们在受益于ZFS压缩用于高性能数据库的同时优化了成本。此外，他们利用了ZFS技术，如精简克隆和精简快照，消除了数据库级别的复制需求，并实现了在几秒钟内近乎即时地供应新的数据库副本，而不是等待48小时或更长时间来传统恢复65TB的数据库。

敏捷性是FSx价值主张的第三大支柱，赋予客户更大的灵活性，简化和自动化存储部署，同时释放新的可能性来从数据中获取更多价值。敏捷性的一个关键方面是与广泛的亚马逊云科技服务的本地集成，这得益于FSx作为一项完全托管的亚马逊云科技服务。

客户可以从各种计算实例、虚拟机、容器和高性能计算(HPC)集群访问他们的FSx文件系统。他们可以从亚马逊云科技提供的不同数据库、媒体制作或搜索服务连接到文件系统，并运行安全性、log analytics、欺诈检测等服务。FSx还与亚马逊云科技数据移动和数据保护服务(如Amazon DataSync和Amazon Backup)以及监控、可视化和自动化工具(如Amazon CloudWatch和Amazon CloudTrail)集成。

FSx为特定工作负载类型提供了量身定制的敏捷性，例如SQL Server、SAP HANA ScaleOut和Oracle RAC等集群数据库。对于SQL Server故障转移集群实例，客户可以跨多个Availability Zones连接到单个FSx文件系统，实现多AZ弹性，同时简化管理，通常还可减少数据库许可成本。

对于SAP HANA，FSx for NetApp ONTAP是SAP HANA Auto Takeover的唯一认证解决方案，实现了零恢复点目标(RPO)和完全自动化故障转移，如果SAP HANA数据库节点发生故障。FSx for OpenZFS凭借其快照和克隆功能，为集群Oracle工作负载提供了快速灵活的恢复，允许客户在几秒钟内恢复新数据库，即使数据库大小扩展到数百TB或1PB。

基础设施即代码(IaC)和自动化支持对于管理数十或数百个文件系统的FSx客户(尤其是大型企业)而言，是敏捷性的关键方面。FSx与IaC服务(如Amazon CloudFormation和Terraform)集成，使客户能够标准化和自动化存储部署，通过CI/CD管道测试和部署基础设施，并分散存储管理。

一种常见模式是集中拥有的存储，其中共享服务VPC托管集中供应的存储，应用程序所有者连接到此存储而无需自行管理。另一种模式涉及存储所有者为应用程序团队创建可重复使用的模板或模式，允许他们控制和管理量身定制的应用程序工作负载存储，同时遵守集中定义的合规性和安全态势。

澳大利亚软件提供商Technology One在SaaS框架内交付ERP解决方案，利用FSx for Windows和基础设施即代码实现了对最终用户业务应用程序数据的精细控制。通过将单租户部署模型迁移到为每个最终客户在其SaaS环境中提供专用FSx文件系统，他们实施了合规性控制和安全态势，同时使最终用户能够无缝扩展。这种方法降低了系统成本，实现了全球一致的架构，并为最终客户提供了零停机时间的无缝迁移和升级。

总之，Amazon FSx为云网络附加存储提供了一体化解决方案，解决了组织在本地文件存储方面面临的挑战。通过提供完全托管、高性能、经济高效和敏捷的文件系统，FSx使客户能够利用常见的文件系统和操作系统，同时受益于亚马逊云科技的可扩展性、集成能力和自动化功能。凭借对性能可扩展性、成本优化和敏捷性的持续创新和投资，FSx为组织在云中释放数据的全部潜力铺平了道路。

下面是一些演讲现场的精彩瞬间：

Andy Jassy，亚马逊云科技的首席执行官，在reInvent2024主题演讲中介绍了Nikhil，FSx产品经理，他将分享关于亚马逊云科技的FSx服务的见解。

文件存储系统拥有数十年的悠久历史和广泛应用，是许多现代应用程序的默认接口。

新南威尔士州卫生部门成功将1.3PB的医疗影像数据迁移到Amazon FSx for NetApp ONTAP，实现了10倍的性能提升和1600万美元的总体收益。

万豪国际集团利用亚马逊云科技存储评估和FSx for NetApp ONTAP将现场法律文件迁移到亚马逊云科技，满足了合规性要求并提高了灾难恢复能力。

亚马逊云科技宣布了FSx的创新，为运行高要求应用程序和管理复杂存储环境的客户提供领先的性能、成本优化和敏捷性。

FSx提供全面管理的文件存储，具有本地文件系统功能、存储效率以及选择存储类型、部署类型并动态扩展存储和性能的灵活性。

演讲者强调，亚马逊将根据客户反馈和需求，不断增强基于云的网络附加存储(NAS)功能。

总结

基于云的网络附加存储服务Amazon FSx为组织提供了一个全面的高性能、经济高效且敏捷的文件存储解决方案。凭借其可扩展的架构和与亚马逊云科技服务的无缝集成，FSx使企业能够轻松管理和优化其文件数据，规模前所未有。

FSx提供了领先的性能和可扩展性，使客户能够动态调整资源以满足工作负载的需求。其创新功能，如横向扩展架构和智能分层，提供了无与伦比的吞吐量、IOPS和成本优化。客户可以利用FSx实现显著的成本节约，通过存储效率、动态配置和智能数据分层，将费用降低高达80%，比传统解决方案节省更多。

此外，FSx通过简化存储部署、自动化基础设施管理和促进与各种亚马逊云科技服务的无缝集成，提供了无与伦比的敏捷性。它对基础设施即代码和集中式存储管理的原生支持，使组织能够简化操作、实施合规性并加速创新。客户可以利用FSx开启新的可能性，从数据中获取更大价值，推动业务增长。

凭借其强大的性能、成本优化能力和无与伦比的敏捷性，Amazon FSx成为组织寻求利用基于云的网络附加存储全部潜力的首选。其全面的功能和与亚马逊云科技服务的无缝集成，使FSx成为在云中运行NAS的最简单途径，让企业在数据驱动的时代蓬勃发展。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。