DataX简单使用

最新推荐文章于 2025-02-18 10:08:24 发布
原创 最新推荐文章于 2025-02-18 10:08:24 发布 · 859 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

一、dataX简介
阿里巴巴一款异构数据源离线同步工具，可实现mysql、oracle、hdfs、hive、odps、hbase等各种异构数据源之间稳定高效的数据同步功能。

1.1 datax设计
将复杂的网状同步链路转为星型链路，data作为中间节点链接各种数据接口，方便管理与开发维护。
在这里插入图片描述
1.2 框架设计
类似于flume的框架设计，
reader：采集模块，包含各个数据源的读取接口
channel：中间数据缓存，并发控制、数据转换
writer：同reader
在这里插入图片描述
1.3 运行原理
在这里插入图片描述

job：管理单个作业，负责数据清理、划分子任务、taskGroup监控管理
task：datax作业的最小单元，每个task负责一部分数据同步工作
schedule：将task组成taskgroup，单个taskgroup大小为5；
taskGroup：启动管理task

2.安装与使用
2.1 下载地址
源码：https://github.com/alibaba/DataX
安装包：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
在这里插入图片描述
2.2 依赖
linux
jdk 1.8以上
python 2.6.x以上

下载、解压即可使用
在这里插入图片描述
运行示例：
bin/datax.py job/job.json

  1. 打印json模板
    python bin/datax.py -r mysqlreader -w hdfswriter
    在这里插入图片描述
    在这里插入图片描述
forerunner123
关注
datax基于java数据同步（自建数据平台）
csdn_wr的博客
04-28 1518
背景介绍 公司搭建自己的数据平台，datax作为数据采集工具还是非常强有力的，但是官方是通过python调取datax.py文件实现数据同步的，没法子很好的集成在自己的数据平台上。 步骤 下载datax源码 在pom文件中去掉暂时用不到的reader、writer，这样maven时间比较块 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi
数据集成工具之DataX的安装和使用
糊里糊涂走进大数据的小菜鸡
12-07 2264
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。本文介绍其安装及基本使用方法
simpledatax-service：将datax改成一个java服务包，支持单jvm同时运行多个实例，整合编程代码，提供api调用接口，可以直接集成到现有服务框架
02-21
关于simpledatax 背景 simpledatax基于阿里开源数据采集工具datax做了一些减法，适合特定的场景。关于阿里的datax请移步 重点说明 恢复数据时实例之间的冲突。 将插件包和调度包集成到同一个包内，方便修改。 插件间不再使用不同的类加载器。插件预加载机制。同时不改变参数的json配置处理机制。 新增参数对象作为入参，封装接口，提取关键参数的配置。 修改内部调度机制，可删除睡眠收集任务执行状态的机制，修改为各个任务执行完成时汇报情况，使用未来获取返回结果，可以稍微提高下效率。 新增返回调度结果实例。用于界面展现。 可移除TaskGroupContainer，只能单机使用，如果需要扩展建议结合分布式服务框架使用。 调整了信息汇报部分代码，目前来看更加直观，也更容易修改。 文档说明 请参考阿里各个插件的文档。如果有更新需要替换插件并调整下代码。 调用示例 public st
Datax实现数据处理/转换功能--Transformer的实现及使用
T_Ghost的博客
01-08 2287
datax会在初始化时加载TransformerRegistry并将指定的Transformer进行注册。要将自定义的Transformer加入其注册的静态代码块中。
DataXServer：为DataX（https：github.comalibabaDataX）提供远程多语言调用（ThriftServer，HttpServer）分布式运行（YARN上的DataX）功能
02-03
DataX服务器 为提供远程调用（Thrift服务器，Http服务器）分布式运行（YARN上的DataX）功能 特征 节俭服务器 纱线上的DataX Http服务器 单机多线程方式运行 单机多进程方式运行 分散运行（在纱线上） 混合模式运行（Yarn +多进程模式运行） 自动伸缩 去做 1.Http服务器 2.代码重构 3.按照功能类型分解到多个子项目中重新组织包名方便后续补充功能 4.完善文档示例 部署 下载发布包并解压进入0.0.1目录 启动节俭服务器 ./bin/startThriftServer.sh 使用NodeJS提交测试任务到目标服务器   cd example/no
Datax简单使用
weixin_42003068的博客
05-07 559
阿里开源ETL工具——dataX简单上手 一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 开源地址 二、简介 　　1.设计架构 ...
DataX简介及使用
weixin_42771366的博客
10-23 2015
DataX使用 DataX同步Oracle数据到hive DataX
linux上datax 安装以及使用
寂夜了无痕的博客
08-24 9991
linux上datax 安装以及使用
精选资源
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 ...DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
Datax的adbpgwriter组件
01-21
在实际使用中，adbpgwriter组件的使用需要遵循Datax的作业配置规范。用户需要编写一个json格式的配置文件，其中定义了数据同步的具体参数。在配置文件中，将adbpgwriter设置为writer的type值，然后根据需要配置源...
异构数据源数据交换工具 DataX.zip
07-19
一. DataX3.0 概览　　DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。　　设计理念　　为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。　　当前使用现状　　DataX 在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了 6 年之久。目前每天完成同步 8w 多道作业，每日传输数据量超过 300TB。　　此前已经开源 DataX1.0 版本，此次介绍为阿里巴巴开源全新版本 DataX3.0，有了更多更强大的功能和更好的使用体验。Github 主页地址：https://github.com/alibaba/DataX。　　二、DataX3.0 框架设计　　DataX 本身作为离线数据同步框架，采用 Framework plugin 架构构建。将数据源读取和写入抽象成为 Reader/Writer 插件，纳入到整个同步框架中。　　Reader：Reader 为数据采集模块，负责采集数据源的数据，将数据发送给 Framework。　　Writer： Writer 为数据写入模块，负责不断向 Framework 取数据，并将数据写入到目的端。　　Framework：Framework 用于连接 reader 和 writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。　　三. DataX3.0 插件体系　　经过几年积累，DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据计算系统都已经接入。DataX 目前支持数据如下：　　DataX Framework 提供了简单的接口与插件交互，提供简单的插件接入机制，只需要任意加上一种插件，就能无缝对接其他数据源。详情请看：DataX 数据源指南　　四、DataX3.0 核心架构　　DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本小节按一个 DataX 作业生命周期的时序图，从整体架构设计非常简要说明 DataX 各个模块相互关系。　　核心模块介绍：　　DataX 完成单个数据同步的作业，我们称之为 Job，DataX 接受到一个 Job 之后，将启动一个进程来完成整个作业同步过程。DataX Job 模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子 Task)、TaskGroup 管理等功能。　　DataXJob 启动后，会根据不同的源端切分策略，将 Job 切分成多个小的 Task (子任务)，以便于并发执行。Task 便是 DataX 作业的最小单元，每一个 Task 都会负责一部分数据的同步工作。　　切分多个 Task 之后，DataX Job 会调用 Scheduler 模块，根据配置的并发数据量，将拆分成的 Task 重新组合，组装成 TaskGroup (任务组)。每一个 TaskGroup 负责以一定的并发运行完毕分配好的所有 Task，默认单个任务组的并发数量为5。　　每一个 Task 都由 TaskGroup 负责启动，Task 启动后，会固定启动 Reader>Channel>Writer 的线程来完成任务。 标签：数据同步
datax最新所有输入输出API说明
12-29
本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。
java调用使用datax
踏雪江南的博客
12-23 3753
#简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 使用说明 1下载源码 从git上拉取datax代码下载到本地 dataxgit地址\ 2本地将代码编译 cd {DataX_source_code_home} mvn -U clean package ass
数据同步工具datax开发详解及案例实战
石榴姐yyds
07-09 2237
一、dataX概览 1.1 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.2 Features DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插
FME Desktop下访问datax的REST API接口
weixin_43311051的博客
09-06 1470
在FME Desktop下访问datax的REST API接口的方法有两种； 一、直接在HTTPCaller下添加验证身份的token的值； 如图： 二、在HTTPCaller中用已有的Web Connection连接做身份验证； 第一种方法较为常用，接下来着重讲述第二种方法的实现； 1、在FME Desktop下新建datax 服务类型：Tools->FME Options->Web Connection 新增Token Service: 新增一个datax的连接： 该连接新增成功后则
DataX，数据同步工具，亲测真香(1)
2401_84788430的博客
05-15 1145
首先 DataX Job 模块会根据分库分表切分成若干个 Task，然后根据用户配置并发数，来计算需要分配多少个 TaskGroup；计算过程：Task / Channel = TaskGroup，最后由 TaskGroup 根据分配好的并发数来运行 Task（任务）
大数据—数据采集DataX
麦当当的博客
04-26 4641
DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
DataX
m0_63171742的博客
02-18 1084
DataX完成单个数据同步的作业，我们称之为Job。DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataXJob模块是单个作业的中枢管理节点，承担了数据清洗、子任务切分（将单一作业计算转化为多个子Task）、TaskGroup管理等功能。DataXJob启动之后，会根据不同的源端切分策略，将Job切分成多个小的Task（子任务），以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX 是一个异构数据源离线同步工具
专注-享学课堂
12-23 7853
阿里云近期将离线数据同步工具DataX更新至3.0版。 新版本支持阿里云全线产品，支持十余款主流开源数据系统，可帮助企业和个人轻松实现不同数据源之间的数据同步。 开源地址：https://github.com/alibaba/DataX DataX简介 DataX 是一个异构数据源离线同步工具。 致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hi
linux dataX安装使用
最新发布
08-13
### 安装步骤 1. **下载DataX源码** DataX的源码可以从GitHub上下载，通常会使用`git clone`命令来获取。 2. **解压安装包** 如果你已经下载了DataX的tar.gz包，可以使用以下命令解压安装包到指定目录，例如`/usr/local/`： ```bash tar -zxvf datax.tar.gz -C /usr/local/ ``` 3. **验证安装** 解压完成后，可以通过运行自检脚本来验证安装是否成功。确保Python环境已正确配置，然后执行如下命令： ```bash python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json ``` 4. **配置环境变量** 为了方便后续使用，建议将DataX的bin目录添加到系统的PATH环境变量中。编辑`~/.bashrc`文件，添加以下行： ```bash export PATH=$PATH:/usr/local/datax/bin ``` 然后运行`source ~/.bashrc`使更改生效。 5. **创建和配置任务** DataX的任务配置文件通常位于`job`目录下。你可以根据需要创建自己的任务配置文件，例如`my_job.json`，并根据实际情况修改配置。 6. **运行任务** 使用DataX命令行工具运行任务，命令格式如下： ```bash python /usr/local/datax/bin/datax.py /usr/local/datax/job/my_job.json ``` ### 使用指南 - **任务配置** DataX的任务配置文件是一个JSON文件，包含了数据源、目标、读取和写入插件等信息。例如，一个简单的任务配置可能如下所示： ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "connection": [ { "jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": ["test_table"], "username": "root", "password": "password" } ], "column": ["*"] } }, "writer": { "name": "mysqlwriter", "parameter": { "defaultFS": "hdfs://localhost:9000", "fileType": "text", "path": "/user/hive/warehouse/test_table", "fileName": "test", "column": [ {"name": "id", "type": "INT"}, {"name": "name", "type": "STRING"} ], "writeMode": "append", "fieldDelimiter": "\t" } } } ], "setting": { "speed": { "channel": "1" } } } } ``` - **插件管理** DataX支持多种数据源的读取和写入插件。如果需要自定义插件，可以在`plugin`目录下进行开发和测试。每个插件都有其特定的配置参数，需要按照官方文档或示例进行设置。 - **性能调优** DataX提供了性能监控和调优的功能，可以通过日志文件和性能报告来分析任务执行情况。日志文件通常位于`log`目录下，而性能报告则可以在`log_perf`目录中找到。 - **常见问题排查** 如果在安装或使用过程中遇到问题，可以查看DataX的日志文件来获取更多信息。此外，还可以参考官方文档或社区资源来寻求帮助。 ### 注意事项 - **系统要求** DataX要求Linux系统上安装有JDK 1.8以上版本、Python 2.6.X或更高版本，以及Apache Maven 3.x用于编译源码。 - **Python版本** 虽然DataX支持Python 2和3，但推荐使用Python 2.6.X以确保兼容性。 - **Maven版本** 推荐使用Apache Maven 3.x版本来编译DataX源码。 - **IDE支持** 如果你需要开发自定义插件，推荐使用IntelliJ IDEA或其他支持Maven项目的IDE。 通过以上步骤，你应该能够在Linux系统上成功安装并使用DataX来进行数据同步工作。如果有任何疑问或遇到问题，可以参考官方文档或社区资源获取更多帮助。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值