之前公司交给我一个需求:需要从postgresql数据库的多张表同步到sqlsersver数据库的表中,这次利用阿里云开发的DataX对异构数据库之间同步数据。
DataX官网介绍:https://github.com/alibaba/DataX/blob/master/introduction.md
DataX安装使用:https://github.com/alibaba/DataX/blob/master/userGuid.md
简单总结下前置工作:
1.下载DataX工具包,这个是官方直接编译好能用的;
2.下载安装Python 2.6.X;
3. 打开命令窗口,切换到 bin 目录下: cd DataX/target/datax/datax/bin;
4. 在 ./datax/job 下创建 test.json,一张表对应一个json文件,这个配置是全量同步的;
5. 启动DataX命令:python datax.py ./job/test.json
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "postg