dataX同步mysql至hive

Ayub

已于 2022-04-13 22:09:50 修改

阅读量8.9k

点赞数 3

分类专栏：数据同步文章标签： hive mysql hadoop 大数据数据库

于 2022-03-10 21:30:21 首次发布

本文链接：https://blog.youkuaiyun.com/AyubLIbra/article/details/115838882

版权

1、前言

我们的业务数据基本都是在数据库中，如果需要离线同步到hdfs我们就需要使用dataX工具。使用dataX只需要学好json脚本，配置好数据源和路径就可以了。以下是我的一个mysql同步到HIve，以上的变量都可以通过传参统一一个脚本处理。

{
   
    "job": {
   
        "setting": {
   
            "speed": {
   
                "channel": 3
            }
        },
        "content": [
            {
   
                "reader": {
   
                    "name": "mysqlreader",
                    "parameter": {
   
                        "username": "${username}",
                        "password": "${password}",
                        "connection": [
                            {
   
                                "jdbcUrl": [
                                    "${jdbcUrl}"
                                ],
                                "querySql": [
                                    "select id,create_time,update_time from ${sourceTableName} where update_time<'${endTime}' "                                  
                                ]
                            }
                        ]
                    }
                },
                "writer": {
   
                    "name": "hdfswriter",
                    "parameter": {
   
                        "column": [
                            {
   
                                "name": "id",
                                "type": "string"
                            },
                            {
   
                                "name": "create_time",
                                "type": "string"
                            },
                            {
   
                                "name": "update_time",
                                "type": "string"
                            }
                        ],
                        "isCompress": "${isCompress}",
                        "defaultFS": "${hdfsPath}",
                        "fieldDelimiter": "${fieldDelimiter}",
                        "fileName": "${fileName}",
                        "fileType": "${fileType}"

最低0.47元/天解锁文章