datax sqlservr2hdfs.json模板

最新推荐文章于 2025-08-25 20:47:19 发布

原创最新推荐文章于 2025-08-25 20:47:19 发布 · 407 阅读

0 ·

CC 4.0 BY-SA版权

开发工具专栏收录该内容

13 篇文章

订阅专栏

本文介绍如何使用SQL Server Reader和HDFS Writer组件从SQL Server数据库迁移到HDFS存储系统，具体步骤包括配置JDBC连接、指定目标HDFS路径及文件类型等。

{
 "job": {
  "content": [
   {
    "reader": {
     "name": "sqlserverreader",
     "parameter": {
      "connection": [
       {
        "jdbcUrl": [
         "jdbc:sqlserver://ip:port;databaseName=db"
        ],
        "table": [
         "tableName"
        ]
       }
      ],
      "password": "pwd",
      "username": "sa",
      "column": [
       "*"  # *代表所有列
      ]
     }
    },
    "writer": {
     "name": "hdfswriter",
     "parameter": {
      "column": [
       {
        "name": "zwid",
        "type": "int"
       } #多個列用逗號分隔
      ],
      "compress": "",
      "defaultFS": "hdfs://ip:port",
      "fieldDelimiter": "|",
      "fileName": "filename", # 最終hdfs會添加文件後綴,比如: filename._d6b22794_fe1d_431c_b06d_564d198ea030
      "fileType": "text",
      "path": "hdfs path",
      "writeMode": "append"
     }
    }
   }
  ],
  "setting": {
   "speed": {
    "channel": "1"
   }
  }
 }
}