
DataX
文章平均质量分 93
武子康
永远好奇,无限进步。
展开
-
大数据-234 离线数仓 - 异构数据源 DataX 将数据 从 HDFS 到 MySQL
DataX 是阿里巴巴开源的一款分布式数据同步工具,用于实现各种异构数据源之间高效、稳定的数据同步。其主要功能包括数据的批量导入、导出和实时传输,支持多种主流数据源,例如关系型数据库、NoSQL 数据库、大数据存储系统等。DataX 的核心思想是“插件化架构”,通过灵活的 Reader 和 Writer 插件实现不同数据源之间的数据交换。原创 2024-11-26 09:55:50 · 7129 阅读 · 1 评论 -
大数据-192 DataX - 异构数据源的同步工具 核心模块 Reader Writer
DataX是阿里巴巴集团内广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。为了解决异构数据源的同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责链接各个数据源。原创 2024-10-26 10:13:49 · 3981 阅读 · 0 评论