
好好玩数据 datax
主要介绍阿里开源中间件datax
可乐环
努力学习,不断进步
展开
-
03-datax案例02 mysql2hdfs
生成模板 datax -r mysqlreader -w hdfswriter { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "column": [],原创 2020-11-23 15:41:01 · 115 阅读 · 0 评论 -
02-datax案例01 stream2stream
测试案例1 需求 从Stream流中读取数据并且把数据打印到控制台. 操作 ./datax.py -r streamreader -w streamwriter 获取模板 { "job": { "content": [ { "reader": { "name": "streamreader", "parameter": {原创 2020-11-23 15:18:52 · 782 阅读 · 0 评论 -
01-datax概述与装机
1.概述 1.1 什么是DataX DataX 是阿里巴巴开源的一个易购数据源离线同步工具,致力于实现包括关系型数据库,HDFS,ODFS,HBASE,FTP等各种异构数据源之间稳定高效的数据同步功能。 1.2 DataX的设计 为了解决异构数据源同步问题,DataX将复杂的网状的同步连变成了星型数据链路,DataX作为中间传输载体,负责链接各种数据源。 #mermaid-svg-KHkrzqBhcKK6puwv .label{font-family:'trebuchet ms', verdana,原创 2020-11-23 13:53:53 · 214 阅读 · 0 评论