DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践

本文介绍了如何使用 DolphinScheduler 结合 DataX 实现 MySQL 到 ElasticSearch 的离线增量数据同步。通过基于SQL查询的CDC方法,保证数据一致性,并在DolphinScheduler中配置DataX作业流程,实现数据同步任务的可视化调度。适合于对实时性要求不高的场景,如内容搜索的增量同步。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据同步的方式

数据同步的2大方式

  • 基于SQL查询的 CDC(Change Data Capture):
    • 离线调度查询作业,批处理。把一张表同步到其他系统,每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取;
    • 无法保障数据一致性,查的过程中有可能数据已经发生了多次变更;
    • 不保障实时性,基于离线调度存在天然的延迟;
    • 工具软件以Kettle(Apache Hop最新版)、DataX为代表,需要结合任务调度系统使用。
  • 基于日志的 CDC:
    • 实时消费日志,流处理,例如 MySQL 的 binlog 日志完整记录了数据库中的变更,可以把 binlog 文件当作流的数据源;
    • 保障数据一致性,因为 binlog 文件包含了所有历史变更明细;
    • 保障实时性,因为类似 binlog 的日志文件是可以流式消费的,提供的是实时数据;
    • 工具软件以Flink CDC、阿里巴巴Canal、Debezium为代表。

基于SQL查询增量数据同步原理

我们考虑用SQL如何查询增量数据? 数据有增加、修改、删除 删除数据采用逻辑删除的方式,比如定义一个is_deleted字段标识逻辑删除 如果数据是 UPDATE的,也就是会被修改的,那么 where update_datetime >= last_datetime(调度滚动时间)就是增量数据 如果数据是 APPEND ONLY 的除了用更新时间还可以用where id >= 调度上次last_id

结合任务调度系统 调度时间是每日调度执行一次,那么 last_datetime = 当前调度开始执行时间 - 24小时,延迟就是1天 调度时间是15分钟一次,那么 last_datetime = 当前调度开始执行时间 - 15分钟,延迟就是15分钟

这样就实现了捕获增量数据,从而实现增量同步

DolphinScheduler + Datax 构建离线增量数据同步平台

本实践使用 单机8c16g DataX 2022-03-01 官网下载 DolphinScheduler 2.0.3(DolphinScheduler的安装过程略,请参考官网)

DolphinScheduler 中设置好DataX环境变量 DolphinScheduler 提供了可视化的作业流程定义,用来离线定时调度DataX Job作业,使用起来很是顺滑

基于SQL查询离线数据同步的用武之地 为什么不用基于日志实时的方式?不是不用,而是根据场合用。考虑到业务实

### 配置 DolphinScheduler 使用 DataX 实现 MySQLMySQL数据同步 #### 1. 环境准备 在配置 DolphinSchedulerDataX 前,需确保环境已正确搭建并满足以下条件: - 已完成 DolphinScheduler 集群部署[^2]。 - 安装并验证 DataX 可正常运行[^3]。 #### 2. 创建 DataX JSON 配置文件 DataX 使用 JSON 文件定义任务参数。以下是实现 MySQLMySQL 数据同步的一个基本模板: ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "source_db_user", // 源库用户名 "password": "source_db_password", // 源库密码 "column": ["*"], // 同步字段列表 "connection": [ { "jdbcUrl": ["jdbc:mysql://source_host:port/source_database_name"], // 源库连接地址 "table": ["source_table"] // 源表名称 } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", // 写入模式:insert/update/replace等 "username": "target_db_user", // 目标库用户名 "password": "target_db_password", // 目标库密码 "column": ["col1", "col2", ...], // 字段映射 "preSql": [], // 执行前SQL语句 "postSql": [], // 执行后SQL语句 "connection": [ { "jdbcUrl": "jdbc:mysql://target_host:port/target_database_name", // 目标库连接地址 "table": ["target_table"] // 目标表名称 } ] } } } ], "setting": { "speed": { "channel": "3" // 并发通道数量 } } } } ``` 上述 JSON 文件中,`reader` 表示源数据库读取器,`writer` 表示目标数据库写入器。需要根据实际需求调整 `username`, `password`, `jdbcUrl`, `table`, `column` 等参数[^1]。 #### 3. 测试 DataX 脚本 将生成的 JSON 文件保存到 DataX 的工作目录下(如 `/opt/module/datax/job/mysql_to_mysql.json`),并通过以下命令测试脚本是否能成功执行: ```bash python2 /opt/module/datax/bin/datax.py /opt/module/datax/job/mysql_to_mysql.json ``` 如果脚本无误,则可以继续将其集成DolphinScheduler 中。 #### 4. 在 DolphinScheduler 中创建 DataX 任务 进入 DolphinScheduler 控制台,在流程定义页面新增一个任务节点,并选择 **Shell 类型** 或 **DataX 插件类型**(视版本支持情况而定)。 如果是 Shell 类型的任务,输入如下命令以调用 DataX 脚本: ```bash cd /opt/module/datax && python2 bin/datax.py job/mysql_to_mysql.json ``` #### 5. 参数化与动态变量 为了提高灵活性,可以在 DolphinScheduler 中设置全局参数或传递动态变量给 DataX 脚本。例如: - 将 JDBC URL、用户名、密码等敏感信息作为任务参数传入; - 动态指定要同步的表名或列名。 具体操作方法可参考官方文档中的自定义参数部分。 --- ### 注意事项 - 确保源库和目标库之间的网络连通性良好。 - 如果涉及大数据量迁移,建议优化 `speed.channel` 参数以及分批处理逻辑。 - 对于增量同步场景,可在 JSON 文件中加入时间戳过滤条件或其他唯一标识符来控制范围。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值