文章目录
一、简介
分布式数据库技术正在迅速发展,随着数据处理的实时性需求越来越高,公司在管理数据处理的过程中,开始从ETL方案,逐渐转向ELT方案。
ETL(Extract-Transform-Load),是对数据进行抽取、转换、加载的一系列过程,数据从数据源移动到中间区域(Staging Area),然后再进入数据仓库,所有转换都在数据加载到仓库之前执行。
而ELT(Extract-Load-Transform),则提供了更现代化的替代方案,在该方案中,分析师在转换数据之前将数据加载到数据仓库中,从而支持更灵活、更敏捷的工作方式。
无论是ETL,还是ELT,都是把数据从数据源移动到数据仓库的过程。两种方案的根本区别,在于原始数据「转换」和「加载」的先后顺序,以及随后如何执行分析。
在本文中,我们将对两种方案之间的差异,以及ELT的优势展开讨论。
二、ETL
传统ETL步骤:
- 抽取:按照时间戳、触发条件等方式,从数据源中抽取原始数据。在传统的ETL流程中,此数据被放入临时的中间区域(Staging Area)中。
- 转换:原始数据经过必要的清洗和转换,才能进入数据仓库。如去重、纠错、数据标准统一、按业务规则运算等。
- 加载:转换后的数据,加载到目的端的数据仓库中。
几十年来,ETL被普遍应用于数据分析领域。最初设计时,ETL通常与传统的关系型数据库一起使用,通过ETL工具来完成上述过程。使用这种方案的数据团队,必须在执行任何分析之前就对数据的所有