
DataX
陈伦(colby)
项目经理/数据架构师/资深数据从业者。
熟悉传统数据、互联网数据处理,精通数据仓库方法论、数据迁移、数据处理、数据可视化、数据建模、架构设计、方案设计,曾负责多个数仓项目0到1建设并落地,有PB级数据调优实战经验!
曾获得计算机四级数据库证书、PMP项目管理专业人士证书等。
展开
-
dataX 在Linux的安装部署与测试方案
环境准备 Hadoop2.7.3Hive1.2.1JDK1.8Python2.7 centOS系统默认自带Mysql5.7dataX3.0下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 测试脚本准备 Mysql建表脚本与数据脚本 DROP TABLE...原创 2019-08-24 18:46:09 · 4037 阅读 · 0 评论 -
你还在用sqoop吗,大厂都在用datax了
一. DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。(这是一个单机多任务的ETL工具)下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar...转载 2019-08-28 18:07:33 · 884 阅读 · 0 评论