利用亚马逊云科技数据库助力应用程序面向未来

利用亚马逊云科技数据库助力应用程序面向未来

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Amazon Aurora， Cloud Infrastructure， Data Management， Business Objectives， Automatic Scaling， Performance Optimization]

导读

在快速发展的 IT 环境中，规划数据库的长期变化具有挑战性。最佳方法是使用专为变化、灵活性和适应性而设计的数据库。在本讲座中，亚马逊云科技数据库和迁移副总裁 Jeff Carter 和关系数据库副总裁 Rahul Pathak 将介绍保护数据免受任何类型干扰的策略，使贵组织能够轻松采用生成式 AI 等新技术，并通过Zero-ETL 集成使用近乎实时的分析。亚马逊云科技数据库提供了一种易于更改的方法，可帮助充分释放创新潜能。

演讲精华

以下是小编为您整理的本次演讲的精华。

Rahul Pathak承认亚马逊云科技于2009年推出RDS开启了其数据库之旅，自2011年加入公司以来，他很幸运参与了许多这些计划。他对成为这一旅程的一部分感到兴奋，这一旅程以惊人的速度取得了进展，这得益于像您这样的客户的反馈和投入。云基础设施标志着技术构建方式的巨大变革，实现了无缝容量扩展和按使用付费模式。这些创新带来了托管关系型数据库和DynamoDB，后者在任何规模下都能提供单位毫秒级的响应时间。

Pathak强调，数据应该是亚马逊云科技在数据库和数据管理方面投资的核心，提供一种抽象的方式来管理数据，而不必关注底层系统。通过Redshift Serverless自动扩展，客户可以在性能和成本之间设置优先级，系统将代表他们做出扩展决策以满足这些目标。亚马逊云科技的规模为其代表客户进行创新提供了真正的机会，确保他们在声明目标后无需做任何工作。

讨论最新发布时，Pathak强调Graviton 3提供了更快的性能、更低的成本和更低的能耗，这在通常需要权衡的技术领域是一种罕见的组合。对于Amazon Aurora，亚马逊云科技推出了IOOptimized，这是一个针对IO密集型SQL Server工作负载的经济高效平台。RDS Custom for SQL Server允许客户使用自己的媒体安装文件，同时受益于RDS管理。亚马逊云科技已在Amazon Aurora Postgres和RDS Postgres中启用了PG Vector支持，使客户能够为生成式AI工作负载未来确保其Postgres投资。此外，RDS Multi-AZ with 2 Standbys在使用RDS Proxy时，可在不到一秒钟内完成次要版本升级。

在非关系型方面，DynamoDB现在提供了增量导出到S3的功能，而DocumentDB为IO密集型工作负载提供了IO优化功能。DocumentDB还允许与SageMaker和LLM集成，以在存储的文档上运行机器学习和生成技术。对于ElastiCache，亚马逊云科技现在可以通过Redis 7.1在每个节点上提供100万个请求/秒，在单个集群中可达到5亿个请求/秒，同时保持与开源Redis 100%兼容。

Jeff Carter介绍了来自IBM的Minaz Marali，他分享了DB2的见解，这是一款拥有30多年创新历史的关系型数据库，为包括10大银行、10大制造商中的9家以及财富100强公司中的76家在内的主要组织运行关键任务工作负载。Marali强调，如果您当天早上使用了信用卡，很有可能该交易是通过DB2数据库运行的，凸显了它作为”现代经济不可见的坚实后盾”的角色。

将DB2集成到Amazon RDS将为客户提供熟悉的RDS体验，包括供应、扩展、备份、高可用性以及与亚马逊云科技生态系统的无缝集成。DB2与Oracle数据库高度兼容，因此是将各种工作负载合并到单一数据库引擎的合适解决方案。许多IBM软件解决方案，包括Cognos Analytics、Sterling Order Management和OpenPages，已宣布支持RDS DB2，所有新开发的面向亚马逊云科技的IBM应用程序都将由DB2 RDS提供支持。

Carter宣布，与亚马逊云科技上的图形数据库同义的Amazon Neptune将被提升为品牌名称，其下将有多个产品。现有的Neptune产品将被重命名为Amazon Neptune Database，专注于图形空间中的事务性工作负载，而新推出的Amazon Neptune Analytics将专注于利用内存性能进行高速分析，使客户能够比领先产品快80倍分析数十亿个连接。

在讨论Amazon Aurora’s Limitless Database功能时，Carter解释说，它允许跨多个Aurora Serverless v2实例进行扩展，根据选定的键将数据分布在一系列Aurora实例上。这种方法可以根据工作负载需求自动扩展计算、内存和I/O吞吐量，同时支持分布式事务和查询，并为应用程序呈现无缝的单一数据库体验。

ElastiCache Serverless消除了提前供应决策的需要，可根据工作负载和数据自动扩展和缩减。通过Redis 7.1，亚马逊云科技可以在每个实例上提供高达100万笔交易/秒，在单个集群中可达5亿笔交易/秒，并提供4个9的可用性，覆盖了绝大多数市场。该系统还可以执行自动透明的软件修补，简化了缓存管理。

Carter讨论了集成数据的重要性，以及亚马逊云科技的零ETL集成，包括Aurora MySQL到Redshift、Aurora PostgreSQL到Redshift、RDS for MySQL到Redshift和DynamoDB到Redshift，实现了近乎实时的分析，无需复杂的管道。他强调，多个引擎可以为单个Redshift实例提供数据，实现诸如将来自多个履行中心的库存数据合并到一个Redshift实例中以获得实时可见性等场景。

此外，DynamoDB现在与Amazon OpenSearch实现了零ETL集成，允许对DynamoDB数据进行文本、向量、全文、神经、地理空间和混合搜索。

来自Heroku的Gail Fredericks分享了与亚马逊云科技合作将整个Heroku Postgres车队迁移到Amazon Aurora的见解。此次迁移将为Heroku客户带来更好的数据库弹性、自动磁盘扩展、容错、复制以及扩展到128TB(约1.1倍1TB)的能力，同时保持Heroku的简单性。Fredericks强调，Aurora将计算和存储分离提供了成本灵活性，可扩展到128TB，在类似硬件上比上游Postgres提供3倍的吞吐量，数据库升级只需几秒钟。

Heroku已设定在明年内将整个车队迁移到Amazon Aurora平台的宏伟目标，使Heroku能够快速推出Postgres创新。如今，在Aurora上，Heroku提供了更高的数据吞吐量、更多的数据库连接、更多种类的Postgres扩展以及多AZ复制。

Carter深入探讨了如何利用生成式AI增强亚马逊云科技服务，强调了基础模型、企业数据定制、向量数据库和自动化代理的重要性。他强调，企业数据是真正的差异化因素，如果每个人都可以访问相同的LLM，公司独特的数据将是构建差异化应用程序的关键。

在演示中，Carter展示了如何使用Amazon Bedrock通过Amazon Aurora创建知识库，从S3存储桶中摄取文档、生成向量嵌入并将其同步到Aurora集群。演示突出了选择Aurora作为向量存储、提供集群ARN、数据库连接信息和存储嵌入的目标字段。Bedrock然后从文档生成嵌入并将其安装到Aurora集群中，使用户能够与Bedrock代理聊天并查询存储在Aurora中的知识库。

Carter强调，虽然有许多支持向量的数据库可用，但客户通常更倾向于使用现有数据库，以利用熟悉度、避免额外许可、减少数据同步需求，并简化将向量数字转换回文本的过程，将它们与地面真实数据一起存储。

在亚马逊云科技的产品组合中，向量相似性搜索功能正被添加到所有数据库，目前已有7个产品支持:Amazon OpenSearch、Aurora PostgreSQL with PG Vector、RDS PostgreSQL with PG Vector、Amazon MemoryDB(预览版)、Amazon Neptune Analytics、Amazon DocumentDB(预览版)和Amazon DynamoDB与OpenSearch的零ETL集成。

Carter强调了这一领域创新的快速步伐，仅在90天内，针对向量相似性搜索工作负载，Amazon优化的PG Vector读取性能就提高了20倍。

亚马逊云科技的数据迁移服务(DMS)在迁移超过100万个数据库方面发挥了重要作用，仅今年就有超过34万次迁移。亚马逊云科技正在开发Fleet Advisor等工具，为迁移工作提供T恤尺码(小、中、大)建议，帮助客户确定优先级并了解在不同数据库技术之间移动所需的工作量级。此外，Schema Conversion Tool(SCT)的改进以及数据和查询测试的自动化也在开发中，以确保无缝的迁移体验。

今年，亚马逊云科技已对PostgreSQL、MySQL、MariaDB和Redis等开源社区做出了超过550项被接受的贡献，体现了其作为这些技术良好管理者的承诺。

最后，Carter重申了亚马逊云科技提供合适工具、拥抱Serverless作为新常态、确保性能和可扩展性，以及促进应用程序的互操作性和全球规模的承诺。这次全面的演示展示了亚马逊云科技的数据库产品、创新和利用数据和生成式AI为未来应用程序赋能的愿景。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技公司在reInvent 2024大会上强调，拥抱变革是进步的前提条件，尤其是在过去几年里，我们的业务和生活都经历了巨大变化。

亚马逊Neptune Analytics通过将数据保存在内存中并利用高性能文件系统，可以实现高速读写和快速分析，适用于临时应用和发现社交网络中的关键影响者等场景。

亚马逊Aurora无限数据库将通过分片解决方案在多个Aurora Serverless v2实例之间分发数据，实现自动扩缩容，优化性能和成本。

亚马逊推出了新的Amazon ElastiCache for Redis服务，可根据工作负载自动扩缩容，并透明地进行软件更新，极大简化了缓存管理。

在短短几分钟内，我们从共享驱动器读取文档、向量化并存储到矢量数据库中，再结合大型语言模型，实现了基于知识库的检索增强生成工作流程。

亚马逊正在开发名为”Fleet Advisor”的工具，可以评估您的数据库迁移工作量，并为您提供优先级建议。

我们持续致力于为您和客户提供正确的工具，确保系统以您期望的卓越运营方式运行，无服务器是我们的新常态，系统可以自动扩展和缩减，无需预先配置CPU和内存。

总结

在这场引人入胜的演讲中，亚马逊云科技高管们阐述了他们在数据库和数据管理领域拥抱变革和进步的愿景。核心主题围绕着让客户专注于自身业务目标，而亚马逊云科技则负责处理数据基础设施的复杂性。

首先，Rahul Pathak强调在不中断现有系统的情况下拥抱变革的重要性，突出了亚马逊云科技在无缝容量扩展、按使用付费模式以及托管数据库(如Aurora和DynamoDB)方面的承诺。他强调了使客户能够抽象出数据并专注于业务目标的目标。

其次，Jeff Carter深入探讨了亚马逊云科技全面的关系型和非关系型数据库产品组合，包括新推出的RDS DB2和Amazon Neptune Analytics。他展示了诸如Aurora Limitless Database用于大规模数据库、ElastiCache Serverless用于无缝缓存以及与Redshift的零ETL集成等创新。值得注意的是，他演示了亚马逊云科技如何在七种数据库产品中集成向量相似性搜索功能，从而支持生成式AI应用程序。

第三，来自Heroku的Gail Fredericks分享了他们与亚马逊云科技的合作伙伴关系，将整个Postgres车队迁移到Amazon Aurora。这一过渡使Heroku客户获得了更好的弹性、容错能力以及扩展到数据分析和AI的能力。

最后，演讲以号召行动作为总结，强调亚马逊云科技在运营卓越、无服务器计算、大规模可靠性能以及跨服务互操作性方面的承诺。高管们强调了他们对开源社区的奉献以及持续创新的决心，确保客户能够拥抱进步，同时保持现有系统的完整性。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。