
datax
文章平均质量分 71
csdn_gyb
java+hadoop+dataworks
展开
-
sqoop/datax+hive+dolphinscheduler
sqoop/datax+hive+dolphinscheduler原创 2022-08-26 16:29:53 · 1547 阅读 · 0 评论 -
DataX
设计理念:为了解决异构数据源离线同步工具,datax将网状的同步链路变成了星型数据链路,datax作为中间传载体去连接各种数据源,当需要对接一种新的数据源的时候只需要将新的数据源对接到datax,就能将已有的数据源进行无缝的对接二、datax3.0框架设计 datax作为离线数据同步框架,采用了framework+plugin架构构建。将数据源读取和写入抽象成reader和writeer插件,纳入到整个数据同步框架中。 Reader:负责数据采集,将数据发送给framework w原创 2022-05-26 21:59:43 · 361 阅读 · 0 评论