仙道Bob的专栏

官方地址:https://github.com/alibaba/DataX安装部署:https://blog.youkuaiyun.com/paicmis/article/details/53563824datax split目前仅支持单一主键，且主键类型是int或者varchar类型 splitPk有值时，channel才会生效，否则都是单通道执行{ "job": { ...

DataX抽数时，需要配置json文件，如果一两个可以手动配就完事了，但是如果有上百个，手动配的话就要死人了，所以简单写了个java程序，批量生成json文件，包括全量导数和增量导数。首先，需要配一个相关参数文件，设定格式:ip|port|username|password|schema|table|target_table|splitPk|pk_column|columns|add_col...

最简单数仓建设，原理：将所有源数据抽取到同一个地方，建模，加工处理。需求：将不同mysql库数据，抽取到同一个pg库，对抽取数据进行加工，生成报表。如：在B机器上抽取A机器上数据到C机器上。使用工具：DataX步骤：B机器上安装java，python，安装DataX 详细步骤参考：DataX使用 获取源数据相关参数 生成固定格式文件：schema|table|target_t...