DataX从入门到使用

最新推荐文章于 2025-03-05 17:56:15 发布
最新推荐文章于 2025-03-05 17:56:15 发布
阅读量1.1w 收藏 15
点赞数 2
分类专栏： DataX 文章标签： DataX 入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wxs060524/article/details/81164596
版权

DataX从入门到使用

1.下载

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
支持的数据源

DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图

类型数据源Reader(读)Writer(写)文档
RDBMS 关系型数据库MySQL√√读 、写
Oracle√√读 、写
SQLServer√√读 、写
PostgreSQL√√读 、写
DRDS√√读 、写
通用RDBMS(支持所有关系型数据库)√√读 、写
阿里云数仓数据存储ODPS√√读 、写
ADS√写
OSS√√读 、写
OCS√√读 、写
NoSQL数据存储OTS√√读 、写
Hbase0.94√√读 、写
Hbase1.1√√读 、写
MongoDB√√读 、写
Hive√√读 、写
无结构化数据存储 TxtFile√√读 、写
FTP√√读 、写
HDFS√√读 、写
Elasticsearch√写

2.解压即安装

 tar -xzvf datax.tar.gz

3.同时需要
System Requirements：

  1. Linux
  2. JDK(1.6以上，推荐1.6)
  3. Python(推荐Python2.6.X)
  4. Apache Maven 3.x (Compile DataX)

4.简单测试

$ vim test.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "sliceRecordCount": 10,
                        "column": [
                            {
                                "type": "long",
                                "value": "10"
                            },
                            {
                                "type": "string",
                                "value": "hello，dawson -DataX"
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "encoding": "UTF-8",
                        "print": true
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 5
            }
        }
    }
}

5.运行

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

结果
2018-07-23 11:17:45.556 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2018-07-23 11:17:45.558 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2018-07-23 11:17:45.558 [main] INFO  JobContainer - DataX jobContainer starts job.
2018-07-23 11:17:45.559 [main] INFO  JobContainer - Set jobId = 0
2018-07-23 11:17:45.572 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2018-07-23 11:17:45.573 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
2018-07-23 11:17:45.573 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2018-07-23 11:17:45.573 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2018-07-23 11:17:45.573 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2018-07-23 11:17:45.574 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [5] tasks.
2018-07-23 11:17:45.575 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [5] tasks.
2018-07-23 11:17:45.593 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2018-07-23 11:17:45.600 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2018-07-23 11:17:45.601 [job-0] INFO  JobContainer - Running by standalone Mode.
2018-07-23 11:17:45.613 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [5] tasks.
2018-07-23 11:17:45.621 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2018-07-23 11:17:45.621 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2018-07-23 11:17:45.632 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] attemptCount[1] is started
2018-07-23 11:17:45.635 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2018-07-23 11:17:45.638 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] attemptCount[1] is started
2018-07-23 11:17:45.641 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] attemptCount[1] is started
2018-07-23 11:17:45.643 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] attemptCount[1] is started
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
10  hello,dawson -DataX
2018-07-23 11:17:45.745 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[110]ms
2018-07-23 11:17:45.746 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] is successed, used[105]ms
2018-07-23 11:17:45.747 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] is successed, used[104]ms
2018-07-23 11:17:45.747 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] is successed, used[116]ms
2018-07-23 11:17:45.747 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] is successed, used[109]ms
2018-07-23 11:17:45.748 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2018-07-23 11:17:55.622 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1050 bytes | Speed 105B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.001s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2018-07-23 11:17:55.623 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2018-07-23 11:17:55.624 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2018-07-23 11:17:55.625 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2018-07-23 11:17:55.625 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2018-07-23 11:17:55.626 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /home/asiainfo/datax/hook
2018-07-23 11:17:55.628 [job-0] INFO  JobContainer - 
     [total cpu info] => 
        averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
        -1.00%                         | -1.00%                         | -1.00%


     [total gc info] => 
         NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
         PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             
         PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             

2018-07-23 11:17:55.629 [job-0] INFO  JobContainer - PerfTrace not enable!
2018-07-23 11:17:55.636 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1050 bytes | Speed 105B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.001s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2018-07-23 11:17:55.637 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2018-07-23 11:17:45
任务结束时刻                    : 2018-07-23 11:17:55
任务总计耗时                    :                 10s
任务平均流量                    :              105B/s
记录写入速度                    :              5rec/s
读出记录总数                    :                  50
读写失败总数                    :                   0

6.任务列表：
DataX读写配置 https://github.com/alibaba/DataX
1. oracle => mongo
2. oracle => DRDS

datax急速入门教程（保姆级）
二进制专栏
03-17 615
mysql数据导入hive表，使用sqoop，不需要事先在hive中创建表，而datax需要。这样的话，大大提升了工作量。在咱们的datax中没hiveReader，但是有hdfsreader,所以本质上就是hdfs导出到mysql。hdfswriter 中的columns 类型，一般跟hive 表中的字段 类型保持一致是不会报错的。读取mysql的数据，将数据展示在控制台上。此时的stream其实就是控制台。
使用datax 从oracle同步数据到mysql的 常用代码模板
qq_41395444的博客
02-27 449
实际上，使用DataX进行数据同步时，你通常不需要编写Java代码。DataX是一个独立的数据同步工具，它使用JSON格式的配置文件来描述数据同步任务。创建一个JSON格式的配置文件，描述从Oracle到MySQL的数据同步任务。配置文件应该包括Oracle数据源、MySQL目标数据库、要同步的表、字段映射、同步策略等信息。你只需编写JSON格式的配置文件，并使用DataX的命令行工具执行数据同步任务即可。请注意，上述步骤中的配置文件和命令行工具的具体路径可能因你的安装方式和操作系统而有所不同。
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
【DataX】使用案例和原理分析
weixin_44823875的博客
03-07 8874
DataX是阿里巴巴开源的一个异构数据源离线同步工具，用于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。任务提交命令：用户需要根据同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行命令提交数据同步任务即可。
「DataX」数据迁移-IDEA运行DataX方法总结
最新发布
danjiujiaohun的博客
03-05 1227
DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
datax入门
weixin_44348734的博客
05-06 549
1.3 支持的数据源。
DataX 快速入门
SmartSi
04-30 967
DataX 版本：3.0 Github主页地址：https://github.com/alibaba/DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。具体请查阅：DataX 异构数据源离线同步 1. 环境要求 Linux JDK(1.8 以上，推荐 1.8) Python(推荐 Python2.6.X) 2. 下载 直接下载 DataX 工.
datax入门（datax的安装与简单使用）——01
@素素~的博客
06-27 2185
datax入门（datax的安装与简单使用）——01
Java大数据-DataX入门
godkzz的博客
01-04 678
一、DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。 设计 为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路， DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要 将此数据源对接到 DataX，便能跟已有
DataX与DataX web入门
weixin_44154134的博客
07-21 2698
1.DataX3.0简介 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 当前使用现状 DataX在阿里巴巴集团内被广泛使
DataX快速入门
weixin_42749734的博客
03-12 667
DataX快速入门 1.1、DataX概述及安装 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、 TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 概述 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时
datax快速入门
w329636271的专栏
07-14 445
1.软件准备 载地址 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz python版本 Python(推荐Python2.6.X) java版本 JDK(1.8以上，推荐1.8) 2.安装 略过 .. (解压文件) 3.两个命令介绍 通过命令查看配置模板 python datax.py -r {YOUR_READER} -w {YOU...
DataX
程序工厂
03-12 4760
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
大数据 DataX 数据同步数据分析入门
GG Bond 的博客
10-16 2244
大数据 DataX 数据同步数据分析入门
DataX使用方法（基础一）
天涯的博客
01-24 6640
操作系统环境：redhat6.5企业版 python版本：2.6.6 jdk版本：1.7 DataX下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 将程序下载之后上传至服务器，并解压 tar -zxvf datax.tar.gz 解压之后的目录结构如下 执行命令 python datax.py ....
DataX入门指南：快速部署和安装指南
学而时习之，不亦说乎？温故而知新，可以为师矣！
03-12 9058
DataX作为一款强大的数据传输工具，其部署和安装过程至关重要。本文将提供详尽的部署和安装指南，帮助用户快速搭建DataX环境。我们将从准备环境、下载安装包、配置环境变量等方面逐步介绍部署和安装的步骤，同时提供常见问题解决方法和调优建议。通过本文的阅读，读者将能够轻松上手DataX，快速实现数据传输任务的部署和执行。
datax的使用以及参数解释，快速入门版
weixin_67485772的博客
06-13 6356
datax的使用以及参数解释，快速入门版
利用datax数据同步工具的简单入门
weixin_44695980的博客
07-17 1103
hbase的版本：1.3 (依然可以导入) 配置文件
DataX 的使用
zwyoozwz的博客
06-20 5692
关于DataX的使用
DataX OTSReader插件快速入门与实践
OTSStreamReader插件允许用户从OTS中高效地读取数据，并将其作为DataX作业的一部分传输到其他数据存储系统。 - OTSSimulator是一个模拟器组件，它模拟了真实的数据处理场景，用于测试和开发阶段验证DataX作业的...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值