Datax读取Hive数据写入到Mysql，并传递日期参数

最新推荐文章于 2025-11-08 11:45:34 发布

原创

最新推荐文章于 2025-11-08 11:45:34 发布 · 3.5k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hive #hdfs

Datax读取Hive数据写入到Mysql，并传递日期参数

Hive数据的导入导出，一直是在大数据离线批处理任务中必要的操作。不过之前使用Sqoop的可能要占大多数，而在近些年，阿里开源了一款数据导入导出的工具，也就是Datax。Datax是基于python以及json配置文件，对指定的数据进行导入导出，可以指定多种数据源和数据目的地，使用起来也是非常方便。

下面将以一个例子来介绍一下Datax读取Hive数据写入Mysql的配置以及流程：

Datax json配置文件

{
   
   
    "job": {
   
   
        "setting": {
   
   
            "speed": {
   
   
                "channel": 1
            }
        },
        "content": [
            {
   
   
                "reader": {
   
   
                    "name": "hdfsreader",
                    "parameter": {
   
   
                    // 读取hive数据的地址，也就是hdfs存储文件的地址，${day}，是外部执行命令传入的日期
                        "path":