DataX之MySQL数据写入Hive

数据迁移：从MySQL到Hive的数据同步脚本与执行

最新推荐文章于 2025-08-16 14:06:01 发布

原创

最新推荐文章于 2025-08-16 14:06:01 发布 · 2.2k 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何编写一个JSON脚本用于将MySQL数据库中的数据迁移到Hive仓库。脚本详细配置了数据读取器（mysqlreader）和数据写入器（hdfswriter），包括连接信息、表名、字段映射和写入模式。执行脚本使用了DataX工具，这是一个高效稳定的数据同步框架。

1、编写脚本mysql-to-hive.json

{
   
   
    "job": {
   
   
        "setting": {
   
   
            "speed": {
   
   
                 "channel": 3
            },
            "errorLimit": {
   
   
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
   
   
                "reader": {
   
   
                    "name": "mysqlreader",
                    "parameter": {