DataX是阿里提供的开源工具,编译也有很大的坑,按照他们提供的方法居然和肯定会失败!
首先看这篇文章:
DataX源码打包编译采坑记
按照这文章写的操作基本没什么问题,不过是在linux上利用mvn安装。由于DataX在windows上使用有问题,所以更改源码后还要重新编译。这里介绍在windows的eclipse上编译Datax,也是根据错误在网上找的:
由上面篇文章需要重新设置Maven源,maven需要联网,不然就废了。
1.在%USERPROFILE%/.m2/下,若没有则新建settings.xml的<settings>标签下面粘贴以下内容
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>https://maven.aliyun.com/repository/central</url>
</mirror>
注意说明下 .m2下是默认路径,查看是否是这个路径看
2.然后根据 上面说的那篇文章 添加jvm的环境变量,jre也要改成jdk的路径,不然就会报错提示让你改
3.最后根据上面提到的那篇文章更改3处就OK啦!
1)
vim $ {DataX_source_code_home} /otsstreamreader/pom.xml
<dependency>
<groupId>com.aliyun.openservices</groupId>
<artifactId>tablestore-streamclient</artifactId>
<version>1.0.0-SNAPSHOT</version>
</dependency>
此处把<version>1.0.0-SNAPSHOT</version>改成<version>1.0.0</version>
2)和3)
datax odpswriter和odpsreader的pom.xml中的
com.aliyun.odps odps-sdk-core 换一下版本 :0.20.7-public
参考:
https://blog.youkuaiyun.com/leixingbang1989/article/details/50319473
https://blog.youkuaiyun.com/qq_32447301/article/details/82909326
不好意思这个是能编译成功,但是不在同一个文件目录下不清楚为什么