Dolphinscheduler 集成DATAX

1. 环境配置: 按照自己服务器中相关环境安装的位置配置相应的环境变量.如果不配置,会使用datax默认的环境变量.

可通过 which java / which python2.7 / which python3 查找环境安装位置

datax默认环境变量存配置位置/opt/module/dolphinscheduler/conf/env/dolphinscheduler_env.sh

2. 修改环境变量以后执行调度任务,如果报错 datax /bin/sh: java: command not found

执行下面命令,添加软连接.

sudo ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /bin/jar

sudo ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /bin/java

sudo ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /bin/javac

sudo ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /bin/javah

sudo ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /bin/javadoc

usr/java/jdk1.8.0_181-cloudera 为环境安装的位置 通过 which java 或者 echo $JAVA_HOME 查看

### 配置 DolphinScheduler 使用 DataX 实现 MySQL 到 MySQL 的数据同步 #### 1. 环境准备 在配置 DolphinSchedulerDataX 前,需确保环境已正确搭建并满足以下条件: - 已完成 DolphinScheduler 集群部署[^2]。 - 安装并验证 DataX 可正常运行[^3]。 #### 2. 创建 DataX JSON 配置文件 DataX 使用 JSON 文件定义任务参数。以下是实现 MySQL 到 MySQL 数据同步的一个基本模板: ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "source_db_user", // 源库用户名 "password": "source_db_password", // 源库密码 "column": ["*"], // 同步字段列表 "connection": [ { "jdbcUrl": ["jdbc:mysql://source_host:port/source_database_name"], // 源库连接地址 "table": ["source_table"] // 源表名称 } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", // 写入模式:insert/update/replace等 "username": "target_db_user", // 目标库用户名 "password": "target_db_password", // 目标库密码 "column": ["col1", "col2", ...], // 字段映射 "preSql": [], // 执行前SQL语句 "postSql": [], // 执行后SQL语句 "connection": [ { "jdbcUrl": "jdbc:mysql://target_host:port/target_database_name", // 目标库连接地址 "table": ["target_table"] // 目标表名称 } ] } } } ], "setting": { "speed": { "channel": "3" // 并发通道数量 } } } } ``` 上述 JSON 文件中,`reader` 表示源数据库读取器,`writer` 表示目标数据库写入器。需要根据实际需求调整 `username`, `password`, `jdbcUrl`, `table`, `column` 等参数[^1]。 #### 3. 测试 DataX 脚本 将生成的 JSON 文件保存到 DataX 的工作目录下(如 `/opt/module/datax/job/mysql_to_mysql.json`),并通过以下命令测试脚本是否能成功执行: ```bash python2 /opt/module/datax/bin/datax.py /opt/module/datax/job/mysql_to_mysql.json ``` 如果脚本无误,则可以继续将其集成DolphinScheduler 中。 #### 4. 在 DolphinScheduler 中创建 DataX 任务 进入 DolphinScheduler 控制台,在流程定义页面新增一个任务节点,并选择 **Shell 类型** 或 **DataX 插件类型**(视版本支持情况而定)。 如果是 Shell 类型的任务,输入如下命令以调用 DataX 脚本: ```bash cd /opt/module/datax && python2 bin/datax.py job/mysql_to_mysql.json ``` #### 5. 参数化与动态变量 为了提高灵活性,可以在 DolphinScheduler 中设置全局参数或传递动态变量给 DataX 脚本。例如: - 将 JDBC URL、用户名、密码等敏感信息作为任务参数传入; - 动态指定要同步的表名或列名。 具体操作方法可参考官方文档中的自定义参数部分。 --- ### 注意事项 - 确保源库和目标库之间的网络连通性良好。 - 如果涉及大数据量迁移,建议优化 `speed.channel` 参数以及分批处理逻辑。 - 对于增量同步场景,可在 JSON 文件中加入时间戳过滤条件或其他唯一标识符来控制范围。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值