Datax 本地启动调试 mac m1

1 下载源码打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2 配置启动参数

在idea 中找到 com.alibaba.datax.core.Engine 类

右键选择启动参数,按照自己存放datax 的路径修改如下配置

vm option 需要写上你用maven打包后生成的target目录

-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/Users/wangrui/IdeaProjects/DataX/log
-Ddatax.home=/Users/wangrui/IdeaProjects/DataX/target/datax/datax
-Dlogback.configurationFile=/Users/wangrui/IdeaProjects/DataX/target/datax/datax/conf/logback.xml

program args 写json文件目录

-mode standalone -jobid-1-job /Users/wangrui/IdeaProjects/DataX/target/datax/datax/job/job.json

本地运行成功

### DataX本地打包教程 #### 配置 Maven 和环境准备 为了成功完成 DataX本地打包,首先需要确保开发环境中已经正确安装并配置了 Maven 工具。推荐使用的 Maven 版本为 3.6.x[^2],因为更高版本可能会遇到 `assembly` 插件兼容性问题。 #### 下载 DataX 源码 通过访问 GitHub 上的官方仓库地址下载 DataX 的源码文件。可以通过克隆 Git 仓库的方式获取最新代码: ```bash git clone https://github.com/alibaba/DataX.git ``` #### 编辑 pom.xml 文件 在某些情况下,可能需要修改项目的 `pom.xml` 文件来调整依赖项或者排除不必要的模块。例如,在特定场景下可以注释掉未被实际使用的组件以减少最终构建的 jar 包大小[^1]。 #### 使用 Maven 进行编译和打包 执行以下命令来进行完整的清理、测试跳过以及最终的打包过程: ```bash mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` 这条指令的作用如下: - `-U`: 强制更新快照版本(SNAPSHOT)依赖。 - `clean`: 清理之前的构建产物。 - `package`: 构建项目的主要目标(通常是 JAR 或 WAR 文件)。 - `assembly:assembly`: 利用 Assembly 插件创建自定义分发包。 - `-Dmaven.test.skip=true`: 跳过单元测试阶段以加快整个流程速度。 #### 常见错误处理 如果在上述过程中遇到了任何异常情况,则可以根据具体报错信息逐一排查解决方法。比如当提到高版本 Maven 可能引发失败时,建议降级至稳定支持范围内的工具链设置[^3]。 --- ### 数据同步框架扩展注意事项 对于希望基于原始 source code 实施定制化功能的需求而言,除了掌握基础的 build pipeline 外还需要深入理解各个子模块的功能划分及其相互间协作机制。这有助于更精准定位哪些部分适合改动而不会破坏整体稳定性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值