DataX安装及使用

最新推荐文章于 2024-08-24 17:09:16 发布

小白文

最新推荐文章于 2024-08-24 17:09:16 发布

阅读量297

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： phoenix json

本文链接：https://blog.youkuaiyun.com/cjwfinal/article/details/120459822

大数据专栏收录该内容

32 篇文章

订阅专栏

1.DataX安装

上传datax

在这里插入图片描述

解压

tar -zxvf datax.tar.gz -C /usr/local/soft/

在这里插入图片描述

添加环境变量

vim /etc/profile
#追加以下内容
#datax
export DATAX_HOME=/usr/local/soft/datax
export PATH=$PHOENIX_HOME/bin:$SQOOP_HOME/bin:$DATAX_HO
ME/bin:$PATH

在这里插入图片描述

2.DataX使用

编写stream2stream.json

# stream2stream.json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}