datax将MySQL数据导入到Oracle

最新推荐文章于 2025-08-13 14:45:47 发布

转载最新推荐文章于 2025-08-13 14:45:47 发布 · 743 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.51cto.com/fengwan/2510202

文章标签：

#mysql #数据库 #oracle #sql #hibernate

本文介绍使用DataX工具解决因OracledblinkBUG导致的大数据查询问题，通过直接同步重要数据，避免查询瓶颈。文章详细展示了DataX配置示例，包括设置速度通道、MySQL到Oracle的数据同步参数等，同时提醒在Oracle中使用大写表名和字段名，以及注意数据导入排序问题。

因Oracle dblink BUG导致每次查询大量数据的时候无法查询，现在通过datax直接将重要数据同步过来。
datax的文档还是很齐全的，这里走了许多弯路。

{
    "job": {
        "setting": {
            "speed": {
                "channel": 5
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "selectuser",
                        "password": "selectpass",
                        "column": ['*'],
                        "splitPk": "id",
                        "connection": [
                            {
                               "table": ["user"],
                               "jdbcUrl": ["jdbc:mysql://192.168.0.2:3306/mall_db"],
                            }
                        ]
                      }
                    },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "oracleuser",
                        "password": "oraclepass",
                        "column": ['*'],
                        "truncate": "true",
                        "preSql": ["truncate table user"],
                        "connection": [
                           {
                              "jdbcUrl": "jdbc:oracle:thin:@172.19.12.149:1521:oracleuser",
                              "table": ['user'],
                           }
                        ]
                    }
                }
                }
        ]
    }
}

注意：
1.在Oracle建立表的时候，所有的表名以及字段全部采用大写，否则出现缺失字段或者找不到表的问题
2.reader的数据库jdbc是要用[]数组形式的，否则将会报错
3.在用datax的时候在导入的数据排序不是按照id的自增的，这点注意下