背景:使用Datax做数仓同步数据得工具,有时需要自己开发或者修改某个reader或writer插件,那么本地调试就很重要。
一. 下载
从GitHub上下载或者clone下来Datax项目。
https://github.com/alibaba/DataX
找到Core模块,运行入口就在Core下得Engine
二. 编译
可以不编译所有模块,但common、core、transformer、plugin-unstructured-storage-util、plugin-rdbms-util这几个基本都是必要的。其他的可以注释掉,防止编译过慢。
三. 启动
1. 配置参数
编译好项目后就可以启动了。
首先配置启动的配置。
主要添加两个参数
DATAX的Home地址: -Ddatax.home=C:\xxx\DataX
任务模式:-mode standalone -jobid -1 -job C:\xxx\DataX\mailreader\target\datax\plugin\reader\mailreader\plugin_job_template.json
(C:\xxx\Dat