统一的、集成的近实时分析,零ETL

关键字: [Amazon Web Services re:Invent 2023, Amazon Redshift, Aurora Mysql, Redshift, Zero Etl Integration, Real Time Analytics, Operational Analytics]

本文字数: 1500, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1xC4y1R7VF

导读

跨越日益增长的数据景观和各种数据存储库的集成需求带来了巨大的提取、转换和加载(ETL)挑战。零ETL和低代码、无代码、可视化代码等相关技术让构建者更专注于从数据中创造价值,而不是准备数据。在这个ANT326的后续演示中,了解亚马逊云科技分析服务如何加速ETL开发。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲者首先热情洋溢地欢迎观众们参加由Amazon Redshift与Amazon Aurora MySQL零ETL集成支持的实时分析会议。他强调，这次会议是在Reinvent大会期间关于零ETL集成的后续活动。在Reinvent大会上，亚马逊云科技发布了一系列零ETL集成，包括Redshift、Aurora MySQL、Aurora PostgreSQL等。由于会议时长仅为45分钟，演讲者表示他将专注于展示特定于Aurora MySQL和Redshift零ETL集成的演示，该集成在经过了充分的预览期测试后现已正式推出。这些演示将展示如何设置集成、如何使用它以及Aurora到Redshift零ETL集成的一般性能。

演讲者在介绍演示之前，强调数据是当今组织竞争优势的关键来源，因为企业正变得越来越依赖数据进行决策。为了充分利用数据，必须能够将一个数据库中的数据迁移到更适合分析和处理的另一个数据库。这就是零ETL集成所能实现的——轻松地将数据从一个存储区迁移到另一个存储区，特别是将数据从Aurora MySQL迁移到Redshift的过程。

演讲者简要介绍了Aurora MySQL和Redshift的基本概念。Amazon Aurora是一个关系数据库服务，它结合了高端商业数据库的速度和高可用性与开源数据库的简单性和成本效益。它与MySQL 5.7及更高版本兼容。此外，Aurora还兼容PostgreSQL。Aurora的一个关键创新是将计算和存储分开，从而实现高可用性。它可以扩展到15个读取副本在一个地区内，或者扩展到5个读取副本在跨地区的情况下。这使得Aurora具有持续自动备份功能，并提供了比标准MySQL高15倍的无与伦比性能。

Amazon Redshift是一个完全管理的百亿级云数据仓库，它与亚马逊云科技的其他数据服务深度集成。在云数据仓储领域，Redshift提供了最佳的价格性能，其成本仅为传统解决方案的1/10。Redshift可以从左侧的许多源中摄入数据，并在右侧支持许多分析应用场景——从BI工具到机器学习。

尽管数据管道可以通过多种方法构建，但零ETL使得从Aurora到Redshift的数据迁移变得简单易行。这种简单且安全的方法可以实现对大量交易数据的近实时分析。与耗时数小时的批量ETL过程不同，零ETL在几秒钟或单位数分钟内将Aurora数据实时复制到Redshift中。这为运营分析提供了可能，即对运营数据的实时分析。它尤其适用于将多个数据库集群的数据聚合到单个Redshift数据仓库中。

关于近期进展，Aurora MySQL到Redshift的零ETL在2022年3月经过充分的预览阶段后，现已正式上市。自预览以来，亚马逊云科技增加了对更多地区的支持，包括亚太地区、欧洲和美洲地域。还添加了API和CLI支持，允许以编程方式进行集成配置。同时，入门体验得到改善，让您可以直接从控制台轻松启用零ETL，无需复杂的设置。此外，还添加了事件和通知，以帮助用户了解复制状态。现在，零ETL支持添加了对JSON数据类型的支持，将Aurora MySQL中的JSON映射到Redshift中的适当且兼容JSON的数据类型。

在2022年的Reinvent大会上，还宣布了针对Aurora PostgreSQL到Redshift的零ETL的预览支持，这将零ETL支持扩展到了Aurora的两个数据库引擎。

演讲者随后演示了如何在亚马逊云科技控制台中设置零ETL集成。他展示了所需的三步：

1. 准备源数据库：创建一个与版本5.7及更高版本兼容的Aurora MySQL集群。可以使用所需的参数创建新的参数组，或利用“自动配置”来自动配置数据库。这是通过基于Aurora MySQL中的增强日志的逻辑复制来实现的，以最小化性能影响。

2. 准备目标Redshift数据仓库：指定一个现有的Redshift集群。支持跨帐户和跨区域集成，基于数据访问策略。

3. 创建零ETL集成：为其命名，选择源和目标，并指定其他选项，如加密。

创建将Aurora MySQL数据集成到Redshift并从中导出数据的端到端过程的初始加载大约需要20-30分钟。最终步骤是接受Redshift中的数据并创建数据库，之后数据即可用于查询和分析。持续复制以接近实时的方式进行。

演讲者在随后的环节中向观众介绍了她的同事，并向大家展示了如何将数据从Aurora MySQL快速复制到Redshift的过程。她演示了如何在Aurora中添加一个名为category_copy的新空表，该表在几秒钟内立即显示在Redshift中。在Aurora中插入11行后，在Redshift中运行查询显示这11行新行在几秒钟内出现。在Aurora的类别表中更新单行描述也在再次运行相同查询时立即反映在Redshift中。

此外，她还展示了如何在Redshift控制台内监控零ETL集成的进度。提供的指标包括复制的表格数量、失败的表格数量和复制延迟等方面的信息。复制延迟表示数据有多接近实时，在演示过程中显示为稳定低于25秒，最低达到18秒。这支持接近实时分析的使用情况。

一旦数据在Redshift中可用，就可以利用其强大的分析功能——如复杂连接、与商业智能（BI）和机器学习（ML）工具的集成、以及通过Redshift数据共享与其他用户共享数据等。演示展示了如何使用Redshift ML基于从2022年复制到Redshift的2022年的历史运营数据来构建预测2023年1月销售数据的机器学习预测模型。这支持实时预测见解。

总的来说，Aurora MySQL和Redshift之间的零ETL集成通过在几秒钟内将Aurora数据复制到Redshift来实现接近实时的操作数据分析。这解锁了以前只能通过数小时批处理ETL过程实现的新实时使用情况。

演讲者分享了客户证词，强调零ETL将他们从小时的ETL过程减少到分钟，实现了实时代理仪表板和应用。Redshift可以集成来自许多来源的数据，而零ETL加速了构建现代数据分析平台的进程。Reinvent上宣布更多零ETL集成，因为Redshift继续增强其功能。

本课程历时45分钟，详细介绍了Aurora MySQL与Redshift之间的零ETL集成实现的一致性、集成的实时分析功能。演示清晰地展示出数据复制时间从数小时缩短至几秒钟，使得企业能够充分利用其运营数据的实时分析能力，从而发掘新的机遇和应用领域。

下面是一些演讲现场的精彩瞬间：

领导者宣布在re:Invent期间，全面取消了RDS MySQL、Aurora MySQL和Aurora PostgreSQL的ETL集成。

亚马逊云科技宣布Aurora PostgreSQL现已与Amazon Redshift集成，以实现实时分析。

领导者展示了如何使用全新的“帮我修复”功能轻松配置和集成数据库以及ETL等亚马逊云科技服务，该功能可以自动处理兼容性问题。

亚马逊云科技宣布还与Redshift进行了另外三个零ETL集成的合作，使得客户能够从多个来源引入数据并做出数据驱动的决策。

总结

ANT218课程专注于探讨如何配置和使用Amazon Aurora MySQL与Amazon Redshift的集成，以实现近实时的数据分析。讲师首先概括了Aurora MySQL和Redshift的优势，以及通过采用零ETL复制技术将两者整合所带来益处。Aurora提供了高性能的关系型数据库功能，而Redshift则具备数据仓库规模的数据处理能力。将二者结合后，可以利用Redshift在近乎实时的情况下对Aurora中的操作数据进行分析和处理。

接着，讲师展示了如何在亚马逊云科技控制台上设置零ETL集成。主要步骤包括准备源Aurora数据库、准备目标Redshift集群以及创建集成。Fix-it-for-me功能可以自动配置Aurora以进行复制。

随后，演示了复制功能。在Aurora中插入和更新数据时，这些数据会迅速显示在Redshift中，从而实现实时分析。讲师强调了如何利用Redshift的功能（例如机器学习）来处理复制数据。

最后，分享了一些客户评价。客户已经观察到数据复制时间从数小时缩短至几分钟。讲师通过提及在re:Invent上宣布的其他零ETL集成结束了他们的演讲。

演讲原文

https://blog.youkuaiyun.com/just2gooo/article/details/134860847

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。