利用亚马逊云存储加速数据库性能和可扩展性

利用亚马逊云存储加速数据库性能和可扩展性

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Cloud Storage， Database Performance， Elastic Block Store， File Systems， Data Management]

导读

通过亚马逊云科技存储释放数据库的全部潜力。探索Amazon FSx和Amazon EBS等服务如何提升数据库性能、可扩展性和成本效率。学习使用快照、克隆和高可用性功能来创建敏捷的开发和测试环境，加快迭代速度，并确保在中断事件期间的无缝运营。了解为数据库工作负载量身定制可靠、高性能存储的最佳实践。发现在亚马逊云科技上优化数据平台的实用策略和成功案例，利用云存储的力量推动创新和竞争优势。

演讲精华

以下是小编为您整理的本次演讲的精华。

视频一开始由存储专家Ryan Sayer介绍自己，他在用户端和现场供应商方面都有存储背景。Jim White也介绍了自己，他曾是客户，并在EMC和NetApp等存储供应商公司工作过，他提到自己已在亚马逊云科技工作约四年，并有机会推出视频中讨论的其中一项服务。

讨论的背景是关于自我管理存储，这涉及到组织以闪电般的速度将数据库迁移到亚马逊云科技时需要考虑的各种因素。演讲者强调了降低成本、实现快速创新以及专注于应用程序以获得成功的概念，与会者已经从参加re:Invent活动中了解了这些概念。

在数据库方面，演讲者强调了选择的概念，即“数据库自由”——在亚马逊云科技内部选择各种托管和自我管理服务的能力，以获得所提供的最佳服务。所展示的幻灯片说明了亚马逊云科技提供的广泛数据库产品组合，包括将生成式AI的组件集成到数据库、分析或两者结合的可能性。

关于自我管理数据库，演讲者承认一些与会者已经在云端进行自我管理，理解控制的需求。自我管理的原因可能包括合规性要求、特定的存储过程可能不适合托管服务(如RDS)、或组织特有的独特数据库用户要求。在亚马逊云科技上拥有基础设施的灵活性意味着自我管理数据库在这种情况下运行良好。

演讲者列出了常常部署在EC2实例上的流行数据库，如Oracle、SQL Server、PostgreSQL和MongoDB，通常使用EBS和FSx作为块存储和文件存储。他们提到，这些数据库在EC2、使用ECS或EKS的容器上都有良好架构的代码和部署模式，并经常使用EBS和FSx作为块存储和文件存储。

在亚马逊云科技上部署数据库时，客户通常会考虑他们的数据库在哪种操作系统下表现最佳、特定处理器类型的遗留要求，或与最适合他们的特定工作流程集成。亚马逊云科技允许客户构建和自我管理与其内部部署相同的架构，实现提升和转移场景，以获得亚马逊云科技的优势，同时可能添加云分析或数据湖机制。

演讲者接着深入讨论了Amazon Elastic Block Store (EBS)卷类型，从通用SSD (gp3)开始，这是在为Amazon Linux 2023等服务配置存储时的默认SSD卷类型，如果性能要求未知。对于需要更低延迟或高IOPS和带宽的情况，则使用io2 Block Express。演讲者还提到了st1(吞吐量优化HDD)，适用于批处理操作、测试/开发环境或延迟不是关键要求的场景，以及sc1(冷HDD)，适用于日志转储或偶尔使用但需要保持在线的应用程序。

讨论了持久性，大多数卷类型提供三个9的持久性，而io2 Block Express则为关键且延迟敏感的工作负载提供五个9的持久性。强调了io2 Block Express在Windows和Linux上的多连接功能，允许多个EC2实例同时访问存储，以实现应用程序弹性或故障转移场景。

演讲者建议使用Amazon Data Lifecycle Manager (DLM)进行快照管理、编排快照，并利用预先和事后挂钩来查询数据库并在快照操作期间确保一致性。

Elastic Volumes是一项允许在线修改卷类型而无需停机的功能，可在高峰期间优化性能或在非高峰时段节省成本。演讲者热情地推荐使用Elastic Volumes，因为它可以让客户在卷修改时避免停机，从而可以重新拥有周末时光。Fast Snapshot Restore (FSR)也被提及为快速数据恢复和版本升级的机制。

演讲者根据数据库要求提供了选择卷类型的指导，gp3适用于一般用例，io2 Block Express适用于需要高性能的关键数据库，而HDD卷(st1和sc1)则适用于批处理操作、日志文件和偶尔使用的数据库。

过渡到Amazon FSx系列，Jim White介绍了FSx for NetApp ONTAP、FSx for Windows File Server和FSx for OpenZFS，这些服务将流行的商业文件系统引入亚马逊云科技。他解释了每项服务的“超能力”，如高性能(EBS)、丰富的数据管理功能(ONTAP和ZFS)以及对迁移工作负载的客户来说的熟悉程度。

Jim讨论了FSx的高可用性(HA)部署选项，包括单个可用区(AZ)和多AZ配置。在单AZ部署中，使用了一个由活动节点和备用节点组成的双节点基础设施，节点共享磁盘。如果活动节点发生故障，将发生故障转移到备用节点，不会丢失数据，但可能会略微暂停I/O。在多AZ部署中，基础设施跨越两个AZ，并在存储服务级别进行同步复制，以确保每个AZ都有完整的数据副本。如果发生故障转移事件，主机集群将指向另一个AZ中的活动副本，从而提供弹性，而不会影响生产应用程序。

演讲者强调了ONTAP和ZFS的快照和克隆功能，通过安装在运行数据库的EC2主机上的软件垫片，可实现数据库一致的备份。这些垫片可以在快照操作期间调用数据库进行冻结和解冻，确保数据库一致性而不影响性能。可以频繁地(甚至每15分钟)进行快照，并且从快照恢复只需几分钟。

可以从快照创建克隆，提供数据库在不同时间点的虚拟副本。这些克隆可用于刷新开发、测试和培训环境，无需耗时的复制过程或周末工作。克隆最初只消耗很少的空间，并且只会随着数据的添加而增长，从而实现高效测试和“假设”场景。克隆还可以从父卷中分离，创建完整副本，可升级为生产或用于跨区域的灾难恢复测试。

提供了客户示例，说明了这些存储服务的实际使用案例:

1. Adidas将来自各个数据中心的多个ERP系统合并为亚马逊云科技上的一组实例，并从SAP ECC升级到S/4HANA。他们选择了FSx for ONTAP，以利用其快照和克隆功能(Flex Clones)。之前，在内部恢复他们的ERP实例需要长达4小时，但在亚马逊云科技上，现在只需不到20分钟，这得益于快照恢复。Adidas还利用Flex Clones进行开发、测试、培训和升级场景。
2. 电信公司Amdocs在其基础设施中为每个客户配备了多个数据库。他们选择了FSx for OpenZFS，对于NFS连接的Oracle数据库感到熟悉。Amdocs使用快照和克隆创建了数百个备用、报告和测试/开发数据库。测试表明，对于数据库工作负载，FSx for OpenZFS提供了FSx系列中最低的延迟。

演讲者讨论了性能比较，强调FSx for OpenZFS在所讨论的FSx服务中为数据库和其他高性能环境提供了最低的延迟，这与客户的经验相一致。

讨论了迁移策略，建议与亚马逊云科技账户团队合作进行评估。如果客户从内部ONTAP或OpenZFS环境迁移，他们可以利用复制引擎将数据复制到亚马逊云科技。对于其他存储系统，可以使用Amazon DataSync(用于文件传输)、Sereous Data或RiverMeadow等ISV工具(用于基于块的迁移)以及基于数据库的复制。ONTAP的本地复制功能(SnapMirror)可用于内部和亚马逊云科技之间或跨区域的迁移和数据保护。

其他客户示例包括:

1. 金融服务公司S&P Global希望将SQL Server故障转移群集实例(FCI)引入亚马逊云科技，以消除与Microsoft企业许可相关的额外许可成本，并实现成本节约。他们还希望部署多AZ存储以实现弹性。S&P Global在同一区域的两个AZ中跨越部署了SQL Server实例，使用FSx for ONTAP提供跨AZ的同步复制，并使用iSCSI连接。
2. Change Healthcare是另一家客户，他们也有将数百个SQL Server数据库带到亚马逊云科技的类似需求，并希望部署多AZ以实现弹性和节省许可成本。作为一家近乎100%的Windows商店，他们选择了FSx for Windows，并使用SMB协议跨两个AZ进行部署。

演讲者通过一张表格比较了三种FSx服务(Windows、OpenZFS和ONTAP)的功能和商业价值，强调了创建数据库一致备份、存储效率(压缩和重复数据删除)以及数据保护功能等方面。这一比较旨在帮助客户将其需求与适当的服务相匹配。

Jim建议与亚马逊云科技账户团队合作进行评估，这些评估可以是正式的或非正式的，以了解工作负载关系、性能特征和迁移分组。这些评估通常涉及大约30天的数据收集，并提供了有关数据库和其他工作负载如何交互、如何分组进行迁移、相对性能以及开发和生产环境分离的见解。

视频最后强调了本次活动中与存储相关的众多会议，涵盖了存储和数据库的各个方面。Ryan Sayer推广了他即将举行的白板会议STG-345，探讨将EC2实例存储和EBS结合起来，以优化自管理数据库部署。

总之，该视频全面概述了亚马逊云科技为自管理数据库提供的存储服务，包括EBS、FSx系列(ONTAP、Windows和OpenZFS)、它们的特性、使用案例、客户示例、迁移策略以及re:Invent活动上的相关会议。演讲者强调了解客户需求、工作负载特征的重要性，并利用适当的存储服务来实现数据库在亚马逊云科技上部署时的性能、弹性和成本优化目标。

下面是一些演讲现场的精彩瞬间：

Jim White是一位 亚马逊云科技 员工，他曾在 EMC 和 NetApp 工作。

他介绍了自己的背景，作为客户和存储供应商，然后开始讨论 亚马逊云科技 的一项服务。

亚马逊云科技 可以使用软件垫片在几秒钟内获取应用程序和数据库一致的快照，从而实现快速恢复到之前的时间点，仅需几分钟。

Andy Jassy解释了 Amazon EBS 快照和克隆如何允许客户为测试和开发目的创建数据库的虚拟副本，而无需消耗额外的存储空间。

NetApp 的 FlexClone 技术可以实现无缝的灾难恢复测试和跨区域的应用程序部署，只需很少的工作量和停机时间。

Adidas将多个本地 ERP 系统合并为一个在 亚马逊云科技 上的单一 S4HANA 实现，利用 FSx for NetApp OnTap 的快照和克隆功能。

亚马逊云科技 建议与您的账户团队合作进行评估，这可以揭示数据格局，并为潜在的迁移到 亚马逊云科技 提供见解。

总结

云计算彻底改变了组织管理和部署数据库的方式，提供了无与伦比的灵活性、可扩展性和成本效率。亚马逊云科技提供了一套全面的存储服务，专门满足自管理数据库的不同需求，使客户能够为其工作负载选择最佳解决方案。

Amazon EBS是一种高性能块存储服务，擅长提供低延迟和高IOPS，是延迟敏感和关键任务数据库的理想选择。io2 Block Express卷具有5个9的持久性和多连接功能，可满足最苛刻的工作负载需求，而gp3和st1卷则分别为通用和归档用例提供了经济高效的选择。

与EBS相辅相成的是Amazon FSx系列，将流行的本地文件系统引入云端，提供熟悉的体验和丰富的数据管理功能。FSx for Windows File Server与基于Windows的数据库堆栈无缝集成，而FSx for OpenZFS和FSx for NetApp ONTAP则提供了强大的快照、克隆和复制功能，实现高效的数据保护、测试和灾难恢复策略。

通过快照和克隆，组织可以在几秒钟内创建与数据库一致的备份，在几分钟内恢复数据库，并快速供应开发、测试和培训环境，促进敏捷性和创新。来自Adidas、Amdocs、S&P Global和Change Healthcare等行业领导者的成功案例充分展示了亚马逊云科技存储服务在数据库部署方面的变革性影响，提供了增强的性能、弹性和成本优化。

当组织踏上云端之旅时，亚马逊云科技建议进行全面评估，确定最佳迁移路径，并充分利用这些存储服务的潜力，解锁数据库自由的新层次，加速数字化转型。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。