DataX学习

只爱大锅饭

已于 2022-12-12 10:02:29 修改

阅读量282

点赞数 1

分类专栏：大数据学习之路文章标签： python mysql

于 2021-09-26 15:54:48 首次发布

本文链接：https://blog.youkuaiyun.com/qq_35370485/article/details/119892744

版权

大数据学习之路专栏收录该内容

30 篇文章

订阅专栏

本文档详细介绍了如何下载和使用DataX，一个由阿里巴巴提供的数据同步工具。首先，提供了DataX的Github主页和直接下载链接。接着，强调了需要安装Python2环境，因为Python3可能会导致语法错误。然后，展示了测试数据迁移的步骤，包括创建测试表、编辑JSON配置文件以定义源表和目标表，并执行数据迁移任务。最后，给出了执行命令及其成功输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataX下载

Datax 源码下载。Github主页地址：https://github.com/alibaba/DataX

直接下载编译成功的包。下载地址：DataX-master.zip-互联网文档类资源-优快云下载

环境配置

安装python环境

安装python2 版本。安装python3在执行任务时，bin 目录下的 datax.py 中 print 处会报语法错误

print xxxx python3 必须在print后面加（）

测试

创建测试表

源表数据：目标表：

编辑json文件

将源表数据抽取到目标表，

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "xxxxx",
                        "column": ["id","name"],
                        "connection": [
                            {
                                "table": [
                                    "name"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://xxx.xxx.xx.xx:xxxx/xxx"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "xxxxxxxx",
                        "column": [
                            "id",
                            "name"
                        ],
                        "preSql": [
                            "TRUNCATE table name1"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://xxx.xxx.xx.xx:xxxx/xxx",
                                "table": [
                                    "name1"
                                ]
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}