DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

最新推荐文章于 2025-05-12 14:43:58 发布
原创 最新推荐文章于 2025-05-12 14:43:58 发布 · 5.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#云原生

本文介绍了如何使用DolphinScheduler配合DataX实现MySQL到MySQL的增量数据同步。通过配置工作流，包括SHELL和DATAX组件，详细说明了reader和writer的设置，尤其是增量同步的关键配置。同时，文中分享了在配置过程中遇到的问题，如缺少ElasticSearchWriter插件的解决办法，并提供了官方文档链接和作者的联系方式以获取更多帮助。

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件 SHELL组件(文章) 脚本 

echo '文章同步 MySQL To MySQL'

DATAX组件(t_article) 用到2个插件mysqlreader^[1]、mysqlwriter^[2] 选 自定义模板：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://${biz_mysql_host}:${biz_mysql_port}/你的数据库A?useUnicode=true&zeroDateTimeBehavior=convertToNull&characterEncoding=UTF8&autoReconnect=true&useSS
最低0.47元/天 解锁文章
流水理鱼
关注
精选资源
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
dolphinscheduler设置参数
最新发布
码农也有梦想
10-11 655
设置的参数，它们可以在工作流中的。
DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
hack1015的专栏
03-02 4083
数据同步的方式 数据同步的2大方式 基于SQL查询的 CDC(Change Data Capture)： 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取； 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更； 不保障实时性，基于离线调度存在天然的延迟; 工具软件以Kettle（Apache Hop最新版）、DataX为代表,需要结合任务调度系统使用。 基于日志的 CDC： 实时消费日志，流处理，例如 MySQL 的 bin.
dolphinscheduler搭配datax跨库数据库全量更新
stringjava_001的博客
05-22 1987
python位系统自带地址，目录为、/usr/lib/pyhton2.7，但是在配置时，不PYTHONE_HOME只到/usr，下面$PYTHON_HOME/bin 修改为 $PYTHON_HOME/lib，在执行datax服务时默认会默认带上/python2.7，所以这里要去掉；配置地址在/dolphinscheduler-bin/bin/env/dolphinscheduler_env.sh。执行tar -zxvf datax.tar.gz。4）执行任务：上线任务，执行任务。3、设置项目及工作流。
DolphinScheduler调用DataX
u012938208的博客
05-12 858
在DolphinScheduler使用DataX
dolphinscheduler之datax记录
txw1234的博客
04-10 1724
Hive在建表的时候，可以指定分区partition，例如创建分区partition(day=“20150820”,hour=“09”)，对应的hdfs文件系统中，相应的表的目录下则会多出/20150820和/09两个目录，且/20150820是/09的父目录。另外需要注意的是，HdfsReader在读取textfile数据时，需要指定字段分割符，如果不指定默认为’,'，HdfsReader在读取orcfile时，用户无需指定字段分割符。
DolphinScheduler使用DataX简单抽取数据(MySQL)
weixin_42890062的博客
07-12 2665
dolphinscheduler使用DataX增量抽取数据
Dolphinscheduler配置dataX离线采集任务写入hive实践（二）
keep_learn的专栏
11-08 1725
hive 文件保存有格式区别，如果在dataX 任务里，没有细心核对hive 文件格式，虽然表面上dataX 任务执行成功，但是hive的文件却被破坏了，导致不可用。发现可以在系统中配置环境变量指定用户，这样就可以在dolphins中通过dataX 直接向hive 中写入数据了。但系统和内hive表一般时动态增加的，总不能一直靠着命令行解决问题吧，后边研究了Hadoop的权限校验。dataX 导入hive 分区表必须指定分区，否则的话，任务执行成功，没有返回异常，但是呢，数据没写入。
Dolphinscheduler调度DataX配置
docsz的博客
07-09 8932
1、hive建表 create table nf_meat_ods.emp_wide ( empno int, ename string, job string, mgr int, hiredate date, sal int, comm int, deptno int, dname string, loc string ) ROW format delimited fields terminated BY “,” STORED AS TEXTFILE; 2、编写datax配置文件 ...
【Dolphinscheduler3.2.0+DATAX】同步数据(mysql,pgsql,oracle,sqlserver)到clickhouse
qq_41767351的博客
11-08 5651
【代码】【Dolphinscheduler3.2.0+DATAX】同步数据mysql到clickhouse。
Dolphinscheduler配置Datax抽取数据
weixin_43025027的博客
01-18 6895
需求是从mysql增量抽取数据到postgresql 练习了两种实现方式 第一种：使用海豚自带datax组件实现 第二种：在海豚里调用shell脚本实现，抽取配置写在shell脚本中 shell脚本配置内容如下： 下载地址：https://download.youkuaiyun.com/download/weixin_43025027/76460239 { “job”: { “content”: [ { “reader”: { “name”: “mysqlreader”, “parameter”: { “colum
Dolphinscheduler 集成DATAX
zgj123456a的博客
08-07 1706
datax默认环境变量存配置位置/opt/module/dolphinscheduler/conf/env/dolphinscheduler_env.sh。usr/java/jdk1.8.0_181-cloudera 为环境安装的位置 通过 which java 或者 echo $JAVA_HOME 查看。1. 环境配置: 按照自己服务器中相关环境安装的位置配置相应的环境变量.如果不配置,会使用datax默认的环境变量.2. 修改环境变量以后执行调度任务。执行下面命令,添加软连接.
使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步
weixin_47261774的博客
09-06 5519
使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步
基于dolphinscheduler的增量数据同步至hive分区表
fengyu_lc的博客
07-27 6113
基于dolphinscheduler的增量数据同步至hive分区表前言一、创建新的hive分区表1.外部分区表sql准备2.创建工作流3、将sql语句写入工作流中4、保存选择租户，上线运行5、任务实例中查看运行状态，状态：成功 即创建成功，可以通过hive的beeline客户端执行如下命令查看表创建详情二、hive分区表创建好后需要增加分区，使用shell命令创建分区1、添加每天的定时增加分区任务2、配置shell命令，使用hivevar的方式提交参数3、配置参数：1）增加自定义变量2）点击保存 并增加.
dolphinscheduler 1.2.1 运行datax任务，重复同步数据库问题排查记录
10-14 3113
稳定跑了一年的调度系统，突然包含datax节点的工作流集体报错，报错原因都是主键冲突，点进去查看，发现报错的节点大部分实际上是成功状态，但是状态为失败，而真正失败的节点报的都是主键冲突错。
DolphinScheduler使用Datax同步Hive结果到MYSQL
熊浪的博客
06-14 5204
1、安装DolphinScheduler 2、创建租户信息 注意：租户名称就是Linux的执行命令的用户名称，所以不能出错 3、根据实际情况确定是否需要创建工作组，存在一个default默认工作组，是当前的所有机器，可以通过组信息来确定定特定的机器执行某个任务，比如DataX插件执行同步任务，可以只在某个机器上安装DataX，之后通过组信息来确定某个安装了同步插件的机器执行同步任务，这样可以降低每台机子上安装的插件个数，但可能会存在，某个机子宕机，任务不能执行的风险 4、环境管理 默认使用 ./dolp
第二章 基于dolphinscheduler的Datax组件进行数据迁移之Oracle到hive
qq_27924553的博客
12-13 2668
1、源表 create table T_YYBZB_TGH_BANKINFO ( id NUMBER, bank_id NUMBER, bank_name varchar(200) ); 同步源系统数据，每天一个分区表 2、创建hive目标表 （1）编写建表脚本 create table ods.ods_t_yybzb_tgh_bankinfo_di ( id int, bank_id int, bank_name string ) partitione
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
刘大猫
10-25 3803
Datax概述 1.概述 2.功能清单 功能清单 CRUD增删改查 、启动任务、停止任务 3.说明：本项目只支持mysql及hbase之间的数据同步 代码模块 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem.
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值