使用 DataX 同步数据

原创

已于 2024-06-11 10:03:56 修改 · 435 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

于 2024-06-11 09:59:06 首次发布

使用 DataX 同步数据

安装 DataX

JDK1.8 以上 python2.6 以上 Maven3.x 以上
相关说明文档：https://github.com/alibaba/DataX

下载DataX源码文件
$ git clone https://github.com/alibaba/DataX.git
$ cd DataX
$ mvn install
# datax的家目录在DataX/target/datax/datax
$ ls DataX/target/datax/datax
bin  conf  job  lib  plugin  script  tmp

同步数据

#创建好指定的json文件如：postgresql2es.json
python DataX/target/datax/datax/bin/datax.py postgresql2es.json

Json 文件示例

postgresql 同步到 elasticsearch

{
    "job": {
        "setting": {
            "speed": {
                "byte": 4096,
                "channel": 32
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [{
            "reader": {
                "name": "postgre