大数据同步工具DataX与Sqoop之比较

从接触DataX起就有一个疑问，它和Sqoop到底有什么区别，昨天部署好了DataX和Sqoop，就可以对两者进行更深入的了解了。

两者从原理上看有点相似，都是解决异构环境的数据交换问题，都支持oracle，mysql，hdfs，hive的互相交换，对于不同数据库的支持都是插件式的，对于新增的数据源类型，只要新开发一个插件就好了，但是只细看两者的架构图，很快就会发现明显的不同。

DataX架构图

 

 

大数据同步工具DataX与Sqoop之比较

Job: 一道数据同步作业

Splitter: 作业切分模块，将一个大任务与分解成多个可以并发的小任务.

Sub-job： 数据同步作业切分后的小任务

Reader(Loader): 数据读入模块，负责运行切分后的小任务，将数据从源头装载入DataX

Storage: Reader和Writer通过Storage交换数据

Writer(Dumper): 数据写出模块，负责将数据从DataX导入至目的数据地

Sqoop架构图

 

 

大数据同步工具DataX与Sqoop之比较

DataX 直接在运行DataX的机器上进行数据的抽取及加载。

而Sqoop充分里面了map-reduce的计算框