datax使用说明

最新推荐文章于 2024-10-23 11:19:20 发布
最新推荐文章于 2024-10-23 11:19:20 发布
阅读量751 收藏
点赞数
文章标签： 数据库 数据仓库 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jimiao_xxxx/article/details/129790627
版权

1、使用splitKey切分主键

分割任务由reader执行，对于mysqlReader，由CommonRdbmsReader的split方法执行

使用splitKey

channel(配置)

taskNumber（代码计算）

time（测试得出）

否

10

1

31s

是

1

1

31s

是

2

11

21s

是

3

16

11s

是

8

41

11s

是

10

51

11s

是

15

76

11s

是

20

101

11s

taskNumber = channel/tableNumber * splitFactor(默认5) +1

结论：1、只有配置了splitKey才会开启并行任务

2、任务运行时间有上限，不需要配置很大的channel就能达到这个上限，具体数值可以通过测试得出。

jimiao_xxxx
关注
DataX使用说明
此成非彼诚博客
11-08 7188
DataX使用说明
DataX使用指南
热门推荐
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
dataX3.0安装使用手册
10-20
dataX3.0安装使用手册
数据同步工具DataX的安装和使用说明
Bulut0907
11-23 1179
下面运行示例同步程序，模拟产生10万条一样的数据，有5个字段。然后输出但不进行print。FrameWork部分设置了同步错误容忍率和每秒流量限制。如果想同步一个数据源的数据，到另外一个数据库，可以通过如下方式，查看数据的同步模板。提供了并发数量、字节流(每秒同步字节)、记录流(每秒同步数量)三种流控模式。其中channel表示该job总的并发数。
DATAX说明书最新-20180825
08-26
完全自己手工从github上复制过来的，又对文档进行格式修改。
DataX-Mysql主键UUID类型切分主键
Shadow_Light的博客
08-05 4477
一、问题背景 之前公司在使用datax时，需要从rds同步数据到hive，但是数据库中的主键id是uuid类型的字符串，使用datax默认的字符串分隔方式，其实会有很大的问题，所以官方也不推荐使用。 二. 分析源码 跟踪底层源码最终可以定位到这个RangeSplitUtil类上 public static String[] doAsciiStringSplit(String left, String right, int expectSliceNumber) { int radix
DATAX 的使用总结
weixin_43527591的博客
02-06 891
主要介绍DATAX的使用
datax安装包+命令使用说明
09-29
这个“datax安装包+命令使用说明”压缩包应该包含了DataX的安装文件和详细的使用指南，帮助用户进行安装和操作。 首先，我们来了解一下DataX的基本概念。DataX作为一个数据同步框架，它的核心思想是通过插件化设计...
DataX简介及使用
weixin_42771366的博客
10-23 1795
DataX使用 DataX同步Oracle数据到hive DataX
datax源码解析-任务拆分机制详解
lucasma的博客
12-16 3943
DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作
DataX教程（07）- 图解DataX任务分配及执行流程
阿甘兄
02-16 2786
文章目录01 引言02 图解任务分配及执行流程03 文末 01 引言 通过前面的博文，我们对DataX有了一定的深入了解了： 《DataX教程（01）- 入门》 《DataX教程（02）- IDEA运行DataX完整流程（填完所有的坑）》 《DataX教程（03）- 源码解读（超详细版） 《DataX教程（04）- 配置完整解读》 《DataX教程（05）- DataX Web项目实践》 《DataX教程（06）- DataX调优》 本文主要讲解的是DataX的任务分配以及执行的流程。 02 图解任务分
datax源码解析-任务调度机制解析
lucasma的博客
12-18 1236
任务调度阶段总结起来做的事情其实就是，把前一个阶段拆分出来的task，按照一定的规则进行分组（taskGroup），然后每组单独分配独立的线程进行调度处理。
DataX教程（03）- 源码解读（超详细版）
阿甘兄
01-26 7137
文章目录01 引言02 DataX框架讲解2.1 DataX设计思想2.2 DataX运行流程2.2.1 DataX运行流程解析2.2.1 DataX运行流程简单举例03 DataX源码分析 01 引言 通过前面的两篇博文，我们可以在IDEA下运行DataX源码项目了： 《DataX入门》 《IDEA运行DataX完整流程（填完所有的坑）》 本文需要讲解的是DataX的源码。 声明： 本文原创作者：阿甘兄 作者博客地址：https://yanglinwei.blog.youkuaiyun.com/ 需要转载的
datax(22):任务分配规则
water Wang
01-26 9万+
前面学习了一些源码和datax的执行，其中有一个重要的流程任务切分。今天梳理下； 一、概述 Datax根首先据配置文件，确定好channel的并发数目。然后将整个job分成一个个小的task，然后划分成组。从JobContainer的start()方法开始，进入split()方法，split方法里执行后续所有的切分； 二、总体流程 切分任务 channel数目的确定 reader的切分 Writer的切分 合并配置 分 配任务 三、切分任务 JobContainer 的split负责将整个jo.
datax优化之reader提速-详细经历
cclovezbf的博客
12-09 2万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
Datax总结
limenghao2002的博客
07-12 1775
Datax总结
数据同步神器——DataX 的源码学习
明月朗，潇水寒
04-18 4553
DataX的源码学习
Datax-web操作指南
baidu_28351593的博客
05-31 4328
如果配置集群，执行器的个数要小于内存总大小/1G.比如服务器内存8G，执行器个数要小于8个，最好是6个以下。ID自增存在缺陷，历史ID对应的数据如果被修改过，在增量抽取时，永远不会更新。这里填了主键后，任务执行时，会根据数据量自动对数据分片，启动多个线程并发执行。批量构建适合同构表的批量同步，比如：1天一张订单表，现在要同步一年的365张订单表，这些表的结构完全一致，此时就可以选择批量构建。，通过Datax-web可视化的四个步骤，简化了构建任务的过程，大大减少了工作量。任务构建，是数据同步最核心的模块。
datax使用方法
最新发布
03-08
DataX是一个高效的数据同步工具，由阿里云团队开发并维护。它支持多种数据源之间的数据传输，并且配置简单、使用方便。 ### DataX的基本使用步骤 #### 1. 环境准备 首先需要准备好Python环境（推荐版本为2.7），因为DataX是以Python脚本的形式运行的。此外还需要下载最新版的DataX包以及相应的插件（如MySQL Reader、Oracle Writer等）用于连接特定类型的数据库或其他存储系统。 #### 2. 配置JSON文件 DataX通过编写JSON格式的任务配置文件来进行操作设置。这个配置文件包含了任务名称、读取端信息(Reader)、写入端信息.Writer以及其他一些必要的参数说明。 例如从Mysql到HDFS的一个简单的配置模板如下： ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": {} }, "writer": { "name": "hdfswriter", "parameter": {} } } ], "setting": { "speed": { "channel": 3 // 并行度，默认值为0表示无限制 } } } } ``` 每个部分的具体属性可以根据官方文档进一步补充完整，包括但不限于表名、列映射规则、过滤条件等等。 #### 3. 执行命令 将上述编辑好的.json结尾的文本保存下来之后，在命令行中切换至datax安装目录下输入类似这样的指令启动程序： ```bash python datax.py ${your_config_file}.json ``` 其中`${your_config_file}`是指向你刚刚创建的那个JSON配置文件路径变量。 以上就是关于DataX最基础也是最重要的几个方面了。当然还有更多高级特性等待探索！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值