Linux下的Datax编译记录

最新推荐文章于 2025-06-16 09:48:35 发布

勿語念千

最新推荐文章于 2025-06-16 09:48:35 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Datax 文章标签： maven

本文链接：https://blog.youkuaiyun.com/ZGEwen/article/details/108083902

Datax 专栏收录该内容

2 篇文章

订阅专栏

本文记录了在Linux环境下编译DataX的过程，包括安装必要软件如JDK1.8、Git和Maven，下载DataX源码，修改驱动版本号，以及通过Maven进行打包。特别关注了在从MongoDB同步数据到MySQL时遇到的字段数不匹配错误，并解决了由于MongoDB驱动版本不兼容引起的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在通过 datax-web使用 datax从mongo数据库同步到mysql数据库时，mongo数据库某一集合中的某一文档部分字段为 null,同步时出现了以下错误：

[AnalysisStatistics.analysisStatisticsLog-53] com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-00], Description:[您的配置错误.]. - 列配置信息有错误. 因为您配置的任务中，源头读取字段数:13 与 目的表要写入的字段数:15 不相等. 请检查您的配置并作出修改.

在github issues/125中提到mongo数据库版本影响，查看自己的mongo数据库，db.version()为4.2.5，\DataX\mongodbreader\pom.xml中mongo-java-driver版本为3.2.2，
mongo java driver支持mongo版本网址

因此需要修改mongodbreader和mongodbwriter的pom.xml文件中mongo-java-driver版本号，并重新编译Datax

安装jdk1.8&git

yum –y install java-1.8.0*
yum install git

安装maven

#下载
wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
#解压
tar -zxvf apache-maven-3.3.9-bin.tar.gz
mv apache-maven-3.3.9 maven
#添加环境变量
vim /etc/profile
	MAVEN_HOME=/root/maven
	export PATH=${MAVEN_HOME}/bin:${PATH}

source /etc/profile
查看maven版本
mvn –v

下载DataX源码及打包

参照Datax userGuid

Datax userGuid.md

 git clone git@github.com:alibaba/DataX.git

修改驱动版本号

mongodbreader和mongodbwriter的pom.xml文件中mongo-java-driver版本号修改为<version>3.12.7</version>

通过maven打包

cd  /root/Datax
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包过程中的问题

无法下载缺少eigenbase:eigenbase-properties:jar:1.1.4
Github下载eigenbase-properties
根据说明文档

git clone git://github.com/julianhyde/eigenbase-properties.git
cd eigenbase-properties
mvn install

将打包好的jar包复制到/root/下，执行mvn install:install-file -DgroupId=eigenbase -DartifactId=eigenbase-properties -Dversion=1.1.4 -Dpackaging=jar -Dfile=/root/eigenbase-properties-1.1.6-SNAPSHOT.jar