DataX之type-value配置Hive-to-MySQL

最新推荐文章于 2024-06-28 19:32:00 发布

原创

最新推荐文章于 2024-06-28 19:32:00 发布 · 355 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #mysql #hadoop

这是一个关于从HDFS文件系统读取数据并使用HDFSReader与MySQLWriter进行数据迁移的配置脚本。脚本中详细指定了数据源路径、文件类型、字段分隔符、编码方式以及目标数据库的连接信息，包括用户名、密码、预处理SQL（清空表）和写入模式。

1、脚本

{
   
   
    "job": {
   
   
        "setting": {
   
   
            "speed": {
   
   
                "channel": 3
            }
        },
        "content": [
            {
   
   
                "reader": {
   
   
                    "name": "hdfsreader",
                    "parameter": {
   
   
                        "path": "/user/hive/warehouse/ods.db/ods_basic_info/*",
                        "defaultFS": "hdfs://node03:9000",
                        "column": [
                               {
   
   
                                "index": 0,
                                "typ