Java 之集成 DataX 数据同步工具

原创 2025-02-26 14:35:56 1k 阅读 AI写同款

yyangqqian

406粉丝406篇原创

关注

DataX 实战使用说明 DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS），MaxCompute（ODPS），DRDS等各种异种构数据源之间高效的数据同步功能。 DataX官网https://github.com/alibaba/DataX System Requirements: Linux or(Windows) JDK1.8(或以上) Python环境(推荐2.6.X) 阅读详情

AI摘要

本文介绍了如何在Java项目中集成DataX工具进行数据同步。首先从官网下载DataX，然后手动添加依赖到本地项目中。接着，通过引入依赖和编写测试类，最后详细说明了数据同步配置的Json文件参数设置。

1、官网下载 DataX
https://github.com/alibaba/DataX
在这里插入图片描述
2、将依赖添加到本地（DataX没有maven坐标，需要自己安装）

mvn install:install-file -Dfile="datax-common-0.0.1.jar" "-DgroupId=com.datax" "-DartifactId=datax-common" "-Dversion=0.0.1" "-Dpackaging=jar"
mvn install:install-file -Dfile="datax-core-0.0.1.jar" "-DgroupId=com.datax" "-DartifactId=datax-core" "-Dversion=0.0.1" "-Dpackaging=jar"

在这里插入图片描述
3、引入依赖

		<!-- datax -->
        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-core</artifactId>
            <version>0.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-common</artifactId>
            <version>0.0.1</version>
        </dependency>

        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.13</version>
        </dependency>
        <dependency>
            <groupId