【Azure Data Platform】ETL工具(1)——Azure Data Factory简介

本文属于【Azure Data Platform】系列。

由于工作需要，把日常学习实践记录成系列文章，希望对有需要的读者有所帮助。

关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT等）及分析。本系列文章把精力集中在Azure的ETL工具Azure Data Factory（ADF）中。

前言

作为一个数据平台解决方案，数据收集是其中一个必要的部分。 在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）：

1. 是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具。如何选择需要多方考虑，特别是企业既定的策略。
2. 时效性：传统ETL工具通常都是T+1，延时比较严重，对于当今的环境而言，有点不太适合了。不过具体还是需要根据项目而定。
3. 费用：当然，免费的工具就不建议商用了。

ADF简介

根据企业的策略，本人所属项目以ADF为ETL工具，那么接下来的系列文章将会以它为主进行介绍和演示。那么我们首先要搞清楚ADF这个ETL工具能做什么？

官方的介绍就不贴上来了，这里抽取其最重要的亮点：在本地和云环境中复制和传输数据，这是很多混合云环境在数据同步过程中的痛点之一。

SQL Server 用户应该听过SSIS（SQL Server Integration Services）， ADF并不是云版本的SSIS， 它并没有非常强地绑定到SQL Server的特性中，而是支持更加广泛的数据传输。ADF虽然可以在云上执行SSIS包，但是这只是利用ADF的可伸缩性和SSIS的高级ETL功能而已。

ADF与其他ETL工具的不同点

基于下面几个点，在使用Azure平台时，ADF是相对优秀的候选ETL工具之一：

• 可以运行SSIS 包，这对本地环境已经成熟地使用SSIS的项目而言，可以减少迁移成本。</