ETL工具-Datax使用

ETL工具-Datax使用

datax工具介绍

datax是阿里开源的离线数据同步平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。开源发布在github上，详细安装步骤见github。
下载编译安装坑点：
a、datax的环境要求：

b、下载源码自己编译：
$ git clone git@github.com:alibaba/DataX.git
maven编译：
$ cd 到放置的datax源码包位置
$ 执行命令：mvn -U clean package assembly:assembly -Dmaven.test.skip=true
3、编译报错：

造成这种原因可能是因为datax发布的源码代码中某些模块的代码由于不能下载造成，
解决方法：
可以把datax源码目录下的pom.xml文件里的配置改一下，找到图示的配置依赖，删掉后缀。

再次执行命令编译，如果还是报错，在pom.xml中有标签配置，可以把这个配置里面的自己需要的模块留下，不需要的模块删除。