DataX 实现 MySQL 数据,高效同步

Datax从mysql同步数据到mysql 在实际使用Datax的时候,可能会使用Datax同步mysq数据到mysql,实现数据库跨库同步或者多个mysql之间相互同步,那么怎么实现呢?我们一步步来实现(基于Datax 3.0.0) 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:blog.youkuaiyun.com/weixin_46902396/

article/details/121904705

41d3222d22a2ce7b71339b9d4421962a.jpeg


DataX 使用介绍

前言

或者我们公司将项目的数据报告并存储到最高五,但是因为那块数据准确,业务库和报告库又是库操作,所以不能同时使用 SQL 来进行。当时的打算是mysqldump通过的方式来进行同步,但尝试后发现这些方案都不切实际:

mysqldump:备份时间时间,同步,而且在备份的时间也需要,可能还有数据需要同步(不需要同步)

存储方式:效率太慢了,这个数据量少了还好,我们用这个方式的时候,三个才每小时同步两千条数据……

后面在网上快之后,发现DataX这个工具用同步速度查看,而且同步的数据量基本也无几。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

一、DataX简介

DataX 是阿里云DataWorks的各种数据集成的开源版本,就是实现数据间的 离线同步。DataX主要实现关系数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等构数据源(即不同的数据库) 间稳定的数据同步功能。5bd68834b3604818e9d7cf9fa550a41d.png

为了解决数据源X的数据源同步,数据源将复杂的星网状网络问题同步形成数据类型 ,DataX作为数据源之间的载体连接;

当需要接入一个新的数据源时,只需将一个新的数据源对X个数据源进行同步,就可以将现有的数据源作为源数据。

1.DataX3.0框架设计

DataX采用架构,将数据源读取和写入称为框架+读写器插件,加入到整个同步框架中。ce66450e8518b888a11bd77cbeec8181.png

角色作用
阅读器(采集模块)负责采集数据源的数据,将其发送给Framework。
Writer(写入模块)负责不断向Framework中取数据,并将数据写入到目的端。
框架(中间商)负责连接Reader和Writer,作为另一个数据传输通道,并处理缓冲,流控,同时,数据等技术问题。

2.DataX3.0核心架构

DataX 完成数据同步的作业,称为 Job,DataX 接收到一个 Job 后,启动整个流程完成作业同步 DataX Job 模块是单个作业的中枢管理节点,承担了数据采集、子任务切割分、任务组管理等功能。e6ea65fe32d42058b0b7abf09d5cbe7a.png

1、 DataX启动后,会根据不同源端的分工策略,将工作切分任务(子任务),以便于同时执行。

2、 会调用Data Job模块,根据配置的调度任务数量,将分解成的任务重新组合,组合成任务组(Task Group)

3、 每一个Task都由TaskGroup负责启动,Task启动后,会固定启动Reader --> Channel -->Writer线程来完成任务同步工作。

4、 DataX作业运行启动后,Job监控后未结束TaskGroup时完成操作,Job就会成功完成(等待所有TaskGroup结束时 )


DataX调度过程:

1、 DataX会根据分库分表分配:分配好模块运行个任务,然后根据用户配置多少个数,来计算需要的任务组;2、 计算过程Task/Channel=TaskGroup中,由任务组根据任务组来计算数量(任务);

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

二、使用DataX实现数据同步

准备工作:

  • JDK(1.8以上,推荐1.8)

  • Python(2,3版本都可以)

  • Apache Maven 3.x(Compile DataX)(手动打包使用,使用tar包方式无需安装)

主机名操作系统IP地址餐食
MySQL-1CentOS 7.4192.168.1.1jdk-8u181-linux-x64.tar.gz datax.tar.gz
MySQL-2CentOS 7.4192.168.1.2

安装JDK:下载地址(需要创建Oracle账号)

[root@MySQL-1 ~]# ls
anaconda-ks.cfg  jdk-8u181-linux-x64.tar.gz
[root@MySQL-1 ~]# tar zxf jdk-8u181-linux-x64.tar.gz 
[root@DataX ~]# ls
anaconda-ks.cfg  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[root@MySQL-1 ~]# mv jdk1.8.0_181 /usr/local/java
[root@MySQL-1 ~]# cat <<END >> /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:"$JAVA_HOME/bin"
END
[root@MySQL-1 ~]# source /etc/profile
[root@MySQL-1 ~]# java -version

因为 Cent 7 上自带 Python 2.7 的软件包,所以不需要安装。

1.Linux上安装DataX软件

[root@MySQL-1 ~]# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
[root@MySQL-1 ~]# tar zxf datax.tar.gz -C /usr/local/
[root@MySQL-1 ~]# rm -rf /usr/local/datax/plugin/*/._*      # 需要删除隐藏文件 (重要)

当未删除时,可能会输出:[/usr/local/datax/plugin/reader/._drdsreader/plugin.json] 不存在。请检查您的配置文件。

验证:

[root@MySQL-1 ~]# cd /usr/local/datax/bin
[root@MySQL-1 ~]# python datax.py ../job/job.json       # 用来验证是否安装成功

输出:

2021-12-13 19:26:28.828 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-12-13 19:26:28.829 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.060s |  All Task WaitReaderTime 0.068s | Percentage 100.00%
2021-12-13 19:26:28.829 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-12-13 19:26:18
任务结束时刻                    : 2021-12-13 19:26:28
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

2.DataX基本使用

查看streamreader --> streamwriter的模板:

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r streamreader -w streamwriter

输出:

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
Please refer to the streamreader document:
     https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md 

Please refer to the streamwriter document:
     https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md 
 
Please save the following configuration as a json file and  use
     python {
   
     DATAX_HOME}/bin/datax.py {
   
     JSON_FILE_NAME}.json 
to run the job.

{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "streamreader", 
                    "parameter": {
   
     
                        "column": [], 
                        "sliceRecordCount": ""
                    }
                }, 
                "writer": {
   
     
                    "name": "streamwriter", 
                    "parameter": {
   
     
                        "encoding": "", 
                        "print": true
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": ""
            }
        }
    }
}

可以编写模板json文件

[root@MySQL-1 ~]# cat <<END > test.json
{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "streamreader", 
                    "parameter": {
   
     
                        "column": [        # 同步的列名 (* 表示所有)
       {
   
     
           "type":"string",
    "value":"Hello."
       },
       {
   
     
           "type":"string",
    "value":"河北彭于晏"
       },
   ], 
                        "sliceRecordCount": "3"     # 打印数量
                    }
                }, 
                "writer": {
   
     
                    "name": "streamwriter", 
                    "parameter": {
   
     
                        "encoding": "utf-8",     # 编码
                        "print": true
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": "2"         # 并发 (即 sliceRecordCount * channel = 结果)
            }
        }
    }
}

输出:(要复制我的内容,需要把#带的内容去掉)92ab672f89aedcc9d33c1f96324c3cd1.png

3.安装MySQL数据库

分别在两台主机上安装:

[root@MySQL-1 ~]# yum -y install mariadb mariadb-server mariadb-libs mariadb-devel   
[root@MySQL-1 ~]# systemctl start mariadb            # 安装 MariaDB 数据库
[root@MySQL-1 ~]# mysql_secure_installation            # 初始化 
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB
      SERVERS IN PRODUCTION USE!  PLEASE READ EACH STEP CAREFULLY!

Enter current password for root (enter for none):       # 直接回车
OK, successfully used password, moving on...
Set root password? [Y/n] y                            # 配置 root 密码
New password: 
Re-enter new password: 
Password updated successfully!
Reloading privilege tables..
 ... Success!
Remove anonymous users? [Y/n] y                     # 移除匿名用户
 ... skipping.
Disallow root login remotely? [Y/n] n                # 允许 root 远程登录
 ... skipping.
Remove test database and access to it? [Y/n] y         # 移除测试数据库
 ... skipping.
Reload privilege tables now? [Y/n] y                    # 重新加载表
 ... Success!

1 、准备同步数据(要同步的两台主机都有这个表)

MariaDB [(none)]>` create database course-study;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]>` create table course-study.t_member(ID int,Name varchar(20),Email varchar(30));
Query OK, 0 rows affected (0.00 sec)

d530f82d4ef7ad7ef9eaf1786d45ad7d.png因为是使用DataX同步进行的,所以需要在程序双方的数据库上开放权限:

grant all privileges on *.* to root@'%' identified by '123123';
flush privileges;

2、创建存储过程:

DELIMITER $$
CREATE PROCEDURE test()
BEGIN
declare A int default 1;
while (A < 3000000)do
insert into course-study.t_member values(A,concat("LiSa",A),concat("LiSa",A,"@163.com"));
set A = A + 1;
END while;
END $$
DELIMITER ;

5f93dd7044ae4c43512ad94d28569833.png3 、调用存储过程(在数据源配置,验证同步使用):

call test();

4.通过DataX实MySQL数据同步

1 、生成MySQL到MySQL同步的模板:

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r mysqlreader -w mysqlwriter
{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "mysqlreader",       # 读取端
                    "parameter": {
   
     
                        "column": [],         # 需要同步的列 (* 表示所有的列)
                        "connection": [
                            {
   
     
                                "jdbcUrl": [],       # 连接信息
                                "table": []       # 连接表
                            }
                        ], 
                        "password": "",        # 连接用户
                        "username": "",        # 连接密码
                        "where": ""         # 描述筛选条件
                    }
                }, 
                "writer": {
   
     
                    "name": "mysqlwriter",       # 写入端
                    "parameter": {
   
     
                        "column": [],         # 需要同步的列
                        "connection": [
                            {
   
     
                                "jdbcUrl": "",       # 连接信息
                                "table": []       # 连接表
                            }
                        ], 
                        "password": "",        # 连接密码
                        "preSql": [],         # 同步前. 要做的事
                        "session": [], 
                        "username": "",        # 连接用户 
                        "writeMode": ""        # 操作类型
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": ""          # 指定并发数
            }
        }
    }
}

2 、编写json文件:

[root@MySQL-1 ~]# vim install.json
{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "mysqlreader", 
                    "parameter": {
   
     
                        "username": "root",
                        "password": "123123",
                        "column": ["*"],
                        "splitPk": "ID",
                        "connection": [
                            {
   
     
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.1.1:3306/course-study?useUnicode=true&characterEncoding=utf8"
                                ], 
                                "table": ["t_member"]
                            }
                        ]
                    }
                }, 
                "writer": {
   
     
                    "name": "mysqlwriter", 
                    "parameter": {
   
     
                        "column": ["*"], 
                        "connection": [
                            {
   
     
                                "jdbcUrl": "jdbc:mysql://192.168.1.2:3306/course-study?useUnicode=true&characterEncoding=utf8",
                                "table": ["t_member"]
                            }
                        ], 
                        "password": "123123",
                        "preSql": [
                            "truncate t_member"
                        ], 
                        "session": [
                            "set session sql_mode='ANSI'"
                        ], 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": "5"
            }
        }
    }
}

3 、验证

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py install.json

输出:

2021-12-15 16:45:15.120 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-12-15 16:45:15.120 [job-0] INFO  StandAloneJobContainerCommunicator - Total 2999999 records, 107666651 bytes | Speed 2.57MB/s, 74999 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 82.173s |  All Task WaitReaderTime 75.722s | Percentage 100.00%
2021-12-15 16:45:15.124 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-12-15 16:44:32
任务结束时刻                    : 2021-12-15 16:45:15
任务总计耗时                    :                 42s
任务平均流量                    :            2.57MB/s
记录写入速度                    :          74999rec/s
读出记录总数                    :             2999999
读写失败总数                    :                   0

你们可以在目标数据库中进行查看,是否同步完成。f3df24974f3995fa310f685bf9fa96b0.png

全部的方式是完全同步的,但是当数据量测时,是同步的时间被中断的很安慰的事情;

所以在某种情况下,增量同步还是蛮重要的。

5.使用DataX进行增量同步

使用DataX全量同步和增量同步的唯一区别是:增量同步需要使用 where 进行条件筛选。 (即,同步进行筛选后的SQL)

1 、编写json文件:

[root@MySQL-1 ~]# vim where.json
{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "mysqlreader", 
                    "parameter": {
   
     
                        "username": "root",
                        "password": "123123",
                        "column": ["*"],
                        "splitPk": "ID",
                        "where": "ID <= 1888",
                        "connection": [
                            {
   
     
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.1.1:3306/course-study?useUnicode=true&characterEncoding=utf8"
                                ], 
                                "table": ["t_member"]
                            }
                        ]
                    }
                }, 
                "writer": {
   
     
                    "name": "mysqlwriter", 
                    "parameter": {
   
     
                        "column": ["*"], 
                        "connection": [
                            {
   
     
                                "jdbcUrl": "jdbc:mysql://192.168.1.2:3306/course-study?useUnicode=true&characterEncoding=utf8",
                                "table": ["t_member"]
                            }
                        ], 
                        "password": "123123",
                        "preSql": [
                            "truncate t_member"
                        ], 
                        "session": [
                            "set session sql_mode='ANSI'"
                        ], 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": "5"
            }
        }
    }
}

需要注意的就是:where(条件筛选)部分和preSql(同步前,做的事情)参数。

2 、验证:

[root@MySQL-1 ~]# python /usr/local/data/bin/data.py where.json

输出:

2021-12-16 17:34:38.534 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-12-16 17:34:38.534 [job-0] INFO  StandAloneJobContainerCommunicator - Total 1888 records, 49543 bytes | Speed 1.61KB/s, 62 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.002s |  All Task WaitReaderTime 100.570s | Percentage 100.00%
2021-12-16 17:34:38.537 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-12-16 17:34:06
任务结束时刻                    : 2021-12-16 17:34:38
任务总计耗时                    :                 32s
任务平均流量                    :            1.61KB/s
记录写入速度                    :             62rec/s
读出记录总数                    :                1888
读写失败总数                    :                   0

数据库上:c655c0ece9c661e309464bbc9958531e.png3 、基于以上数据,再次进行增量同步:

主要是 where 配置:"where": "ID > 1888 AND ID <= 2888"      # 通过条件筛选来进行增量同步
同时需要将我上面的 preSql 删除(因为我上面做的操作时 truncate 表)
778a16190e4d14132f687fb4a16d4033.png

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

0c55ad136a203a7188ad52987d060477.png

已在知识星球更新源码解析如下:

2376eb5eed67b708f5ec35340b52fd27.jpeg

c15d2600a36c4aa9724ea8c2a8d6d3f5.jpeg

1704d0574484ee2b4394759c49ed92c0.jpeg

558afc953b19ed9f072e0005a9589c98.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
开源 ETL 工具 DataX 实践,从mysql到mysql的全量同步和批量更新 开源 ETL 工具 DataX 实践,从mysql 到不同结构的另一个mysql的全量同步和批量更新 链接: datax官方项目地址 查看全量同步 查看批量更新 实践步骤: 参照官方文档,采用方法一部署 如果点击下载没反应,手动复制地址,把http换成https 下载解压完成,运行自检脚本 File “datax.py”, line 114 print readerRef 。因为我电脑安装的是python3 ,脚本里是python2语法 修改下 datax.p 阅读详情

相关推荐

使用DataX实现mysql与hive数据互相导入导出

使用DataX实现mysql与hive数据互相导入导出

qq_35224503的博客 4042

使用Datax实现MySQL不同表之间的数据同步

使用DataX实现mysql不同表之间数据同步

2401_84982895的博客 1477

DataX-Web实现Oracle到MySQL高效数据同步实战

数据同步是ETL过程中的关键技术,通过并行处理和分片策略可大幅提升异构数据库间的传输效率。DataX作为阿里巴巴开源的高性能工具,其核心架构基于通道并发和任务分组机制,能够有效利用系统资源实现TB级数据迁移。在Oracle到MySQL的同步场景中,合理配置分片字段(如自增ID或时间戳)和并发参数(如通道数和TaskGroup内存分配)是关键优化点。结合DataX-Web可视化界面,工程师可以快速实现从单线程小时级到多线程分钟级的性能飞跃,特别适用于金融交易数据同步、电商订单分析等对时效性要求严格的业务场景。

weixin_30385925的博客 380

DataX mysql同步到mysql

使用Datax web创建同步任务

weixin_43820104的博客 4230

使用DataX实现MySQL到ClickHouse的高效离线同步:Python大数据分析实践指南

在大数据生态系统中,数据同步是数据仓库建设和实时分析的基础环节。本文深入探讨了使用阿里巴巴开源的数据同步工具DataX,实现从MySQL关系型数据库到ClickHouse列式存储数据库的高效离线数据同步。文章从架构设计、环境部署、同步配置、性能调优到监控运维,提供了完整的实践方案,并包含大量可直接运行的Python代码示例。通过本文,读者将掌握构建企业级数据同步管道的核心技能,为大数据分析平台建设奠定坚实基础。目录摘要1. 引言1.1 背景与挑战1.2 DataX简介1.3 文章目标2. 系统架构设计。

2201_76125261的博客 20

从星形到三角形:永磁同步电机FOC+SVPWM控制的相位偏移与扇区重构

本文深入探讨了将FOC+SVPWM控制方案从星形接法永磁同步电机移植到三角形接法时遇到的核心挑战。文章重点解析了由绕组连接方式差异导致的30度相位偏移问题,并详细阐述了如何为此重构扇区判断逻辑、矢量作用时间计算以及电流采样变换,为工程师提供了从理论到实践的完整移植指南。

ujm5678901的博客 547

使用 DataX 实现 MySQL 数据的高效同步

本周赠书《性能之巅》第2版我们公司有个项目的数据量高达五千万,但是因为报表那块数据不太准确,业务库和报表库又是跨库操作,所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步,但是尝试后发现这些方案都不切实际:mysqldump:不仅备份需要时间,同步也需要时间,而且在备份的过程,可能还会有数据产出(也就是说同步等于没同步)存储...

程序猿DD 3380

AI智能体:3分钟搞定数据存储,扣子+飞书让你效率翻倍

第二种,AI 转换,在 Excel 里整数据,无脑丢给 AI 转换成 JSON,简单不?最外层的方括号代表是一组数据,里面有两笔数据,也就代表 Excel 中的两行数据。而不是将插件放入到复杂的流程中,这样干扰项太多,不容易发现插件调用时存在的问题。当然,也可以通过查询,再判断行是否为空行,最后进行更新,这样会麻烦不少。每笔花括号里是一行数据,冒号左侧是列头,冒号右侧是单元格的内容。接下来测试,初次使用飞书插件时,可能会遇到错误,指明需要授权。的插件,那么每次数据将会进行追加,即使是空白行也不会被忽略。

Jay的个人博客 5629

DolphinScheduler集成DataX实现Hive与MySQL高效数据同步实战

本文详细介绍了如何通过DolphinScheduler集成DataX实现Hive与MySQL的高效数据同步。文章从环境配置、全量表同步方案、分区表增量同步技巧到性能优化和常见问题排查,提供了全面的实战指南,帮助用户解决大数据ETL中的数据同步难题。

aa123的博客 790

FPGA人脸识别检测(先获取人脸图像以及灰度二值化)

由于图片有空洞等缺陷,所以后面要进行中值滤波、腐蚀、膨胀等算法处理,然后再对人脸进行框选,最后显示出来。最终的成像应该是下面这样的。(后面有时间再接着做哈哈哈)5、通过modelsim将操作后的图片数据写入gray_img.txt里面后,用matlab将txt转成图片。1、先用matlab将图片转换成txt数据,代码如下。读取图片的方式按照博客咸鱼里的方式来做,如下。2、FPGA读取txt数据。4、FPGA顶层模块及仿真。3、FPGA灰度二值化。

weixin_46312715的博客 2531

DeepSeek 框架和技术栈分析

DeepSeek 诞生于对更高效、更强大的深度学习计算和模型训练的追求。随着深度学习模型的规模不断增大,如大型语言模型(LLMs)和复杂的视觉模型,传统的框架在处理这些大规模模型时面临着性能瓶颈和资源利用效率低下的问题。DeepSeek 旨在解决这些问题,通过优化框架设计和采用先进的技术栈,实现更高效的模型训练和推理,同时降低计算成本。

yournameplease的专栏 1513

阿里开源的一款数据同步工具 DataX,稳定又高效

DataX 完成单个数据同步的作业,我们称为 Job,DataX 接收到一个 Job 后,将启动一个进程来完成整个作业同步过程。我们公司有个项目的数据量高达五千万,但是因为报表那块数据不太准确,业务库和报表库又是跨库操作,所以并不能使用 SQL 来进行同步。(即,同步筛选后的 SQL)负责连接 Reader 和 Writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。不仅备份需要时间,同步也需要时间,而且在备份的过程,可能还会有数据产出(也就是说同步等于没同步)

weixin_44066506的博客 892

从宁德新能源面试官视角,拆解Halcon/OpenCV图像处理工程师的硬核技能树(附避坑指南)

本文从宁德新能源面试官视角出发,详细拆解Halcon/OpenCV图像处理工程师的核心技能树,涵盖硬件选型、算法实现和系统工程思维三大能力维度。文章提供工业视觉工程师面试的实战避坑指南,包括硬件配置要点、算法优化技巧及职业发展路径,助力求职者系统提升图像处理专业技能。

weixin_28732953的博客 130

阿里开源的一款数据同步工具 DataX,稳定又高效,嘎嘎好用

我们公司有个项目的数据量高达五千万,但是因为报表那块数据不太准确,业务库和报表库又是跨库操作,所以并不能使用 SQL 来进行同步。不仅备份需要时间,同步也需要时间,而且在备份的过程,可能还会有数据产出(也就是说同步等于没同步)这个效率太慢了,要是数据量少还好,我们使用这个方式的时候,三个小时才同步两千条数据…后面在网上查看后,发现 DataX 这个工具用来同步不仅速度快,而且同步的数据量基本上也相差无几。DataX 是阿里云 DataWorks 数据集成 的开源版本,主要就是用于实现数据间的离线同步。

jcc4261的博客 721

完整的申请邓白氏编码的流程(手把手教你申请邓白氏编码)

申请公司的苹果开发者账号和企业级的苹果开发者账号时,都会用到邓白氏编码,也就是我们申请苹果开发者账号时需要填写的D-U-N-S Number。     申请这个邓白氏编码是免费的,但是从像华夏邓白氏公司提交申请到可以申请苹果开发者账号来用这个9位的D-U-N-S Number,需要一段时间,我申请得到D-U-N-S Number,用了8个工作日(不算周末哦)

wxw2011014003的博客 9万+

宇树机器人丝滑的二人转动作背后,MPC到底是什么?

了解MPC,让我们闻“机”起舞。

Barok的博客 2148

datax从mysql导入数据到mysql

DataX是阿里开源数据同步工具,实现异构数据源的数据同步,Github地址:https://github.com/alibaba/DataX,企业存储离线数据到数仓,但是没办法对接业务,本次实践主要是运用DataX实现数据从数仓导入到MySQL,从而对接业务,另外,对数仓数据的流出进行管理。 一般从数仓数据导入到MySQL中,可以从hive查询存储到一个文件里面,如果是数据量比较大的情况下先将...

JasonLee实时计算 3842

19、利用PostGIS进行空间分析:更高效的矢量分析方法

本文介绍了如何利用PostGIS进行高效灵活的矢量空间分析,重点探讨了在选址安静住宅场景中使用缓冲区和距离测量两种方法的实现与优化。通过QGIS与PostGIS结合,演示了数据上传、CTE应用、ST_Intersects与ST_Distance函数对比,并深入分析了横向子查询在提升查询性能和代码可读性方面的优势。文章还比较了不同方法的适用场景,并以房地产开发选址为例展示了完整分析流程,最后总结了PostGIS在空间分析中的强大能力与未来应用前景。

d3e4f的博客 92

DataX 使用详解

DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

zhouzhiwengang的专栏 6636

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

DataX简介、部署、原理和使用介绍

​ DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

wt334502157的博客 3万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: 一文帮你了解MQ
下一篇: 面试官:线程崩了,为什么不会导致 JVM 崩溃呢?如果是主线程呢?
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值