DATAX 使用记录

本文详细介绍使用DATAX进行数据库批量表迁移的全过程,包括准备迁移表清单、配置datax.json文件及执行脚本,适用于从一个数据库环境到另一个数据库环境的大规模数据迁移场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

批量表迁移

准备表

vim mysqltables.txt

tb_consultation_type
tb_conversation_record
tb_relation_record_consultation
tb_relation_student_group
tb_relation_teacher_college
tb_relation_teacher_consultation
tb_student_group
tb_student_info
tb_teacher_info
tb_teacher_time
tb_template_file

准备datax .json文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "${readerJdbcUrl}?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"
                                ],
                                "table": [
                                    "${stable}"
                                ]
                            }
                        ],
                        "username": "${readerUsername}",
                        "password": "${readerPassword}"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "${writerJdbcUrl}?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true",
                                "table": [
                                    "${stable}"
                                ]
                            }
                        ],
                        "username": "${writerUsername}",
                        "password": "${writerPassword}",
                        "writeMode": "${writeMode}"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }

准备执行脚本.sh

vim mysql2mysql.sh

请根据自己的目录更改

  1. 执行文件存储 路径 /opt/datax/bin/mysqlTOmysql/mysqltables.txt
  2. datax 部署 路径 /opt/datax/bin/datax.py
#!/bin/bash

#数据源配置
readerJdbcUrl="jdbc:mysql://10.2.2.162:3306/abtc_interview" 
readerUsername="ab_talk"
readerPassword="iQIpwUnd#o9P"
#目标数据配置
writerJdbcUrl="jdbc:mysql://10.100.11.44:3306/abtc_interview"
writerUsername="root"
writerPassword="myabsh@20190809."
writeMode="replace" #可选择 replace  insert  updata
#replace  	根据目标数据源表的主键更新数据,如果数据主键存在就先删除数据才插入(先删除在插入)
#insert  	直接插入(默认值)
#updata		更新已有的数据
cat /opt/datax/bin/mysqlTOmysql/mysqltables.txt | while read tables #读取 mysqltables.txt 里面的表名(一次读取一行并存入tables变量中)

do
echo "#######################迁移数据表 ${tables}#######################"
python /opt/datax/bin/datax.py  -p "-DwriteMode=${writeMode}  -Dstable=${tables}  -DreaderJdbcUrl=${readerJdbcUrl}  -DwriterJdbcUrl=${writerJdbcUrl}  -DreaderUsername=${readerUsername}  -DreaderPassword=${readerPassword}  -DwriterUsername=${writerUsername}  -DwriterPassword=${writerPassword}" /opt/datax/bin/mysqlTOmysql/mysql2mysql.json
done

文件都放在同一个目录下

更多属性:https://blog.youkuaiyun.com/weixin_42050545/article/details/93883887

<think>嗯,用户再次明确了需求:需要DataX使用指南和操作说明,特别提到了部署与使用教程。结合之前的对话历史,我已经提供了安装部署的完整流程,现在需要聚焦在实际操作层面。用户可能是个刚接触DataX的数据工程师或运维人员,ta的真实需求可能不止基础操作,更想了解如何应对实际生产环境中的问题。从ta两次提问的连贯性看,应该是在搭建数据同步平台,可能需要从MySQL这类关系型数据库同步到大数据平台。注意到引用内容里提到了DataX的核心架构和模块分工,特别是datax-core、datax-job、datax-web这些组件[^3]。这些信息很重要,因为用户如果要做企业级部署,可能需要web管理界面而非命令行操作。需要重点展开的部分:1任务配置示例必须实用,比如MySQL到Hive的同步配置要包含分页参数和字段映射2性能调优部分要给出具体参数修改示例,像channel/chunkSize的取值逻辑3错误处理要直击痛点,比如网络中断后的续传方案对了,用户上次提到的DataX与实时工具对比问题其实很有价值,这次可以放在相关问题里引申,这对技术选型很有帮助。另外考虑到用户环境,所有示例都要强调中文编码的处理技巧。最后组织信息时得注意:操作指南必须像烹饪步骤一样明确。比如创建任务目录这种细节,新手可能因目录权限问题卡住,得提醒chmod命令的使用。</think> 以下是DataX的完整使用指南及操作教程,结合官方文档和最佳实践: --- ### 一、部署验证(接续安装流程) 1. **环境检查** ```bash # 确认Python版本 python -V # 需为2.7.x # 验证Java环境 echo $JAVA_HOME && java -version ``` 2. **运行内置测试** ```bash cd /opt/datax/bin python datax.py ../job/job.json # 执行内存流同步测试 ``` *成功输出示例*: ```plaintext Total 100000 records, 2600000 bytes | Average 1.38 MB/s Task end status: SUCCESS [^1] ``` --- ### 二、核心操作指南 #### 1. **基础任务配置** 模板示例(MySQL → MySQL): ```json { "job": { "content": [{ "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "******", "connection": [{ "jdbcUrl": ["jdbc:mysql://src_host:3306/db1"], "table": ["users"] }], "column": ["id","name","email"], "where": "create_time > '2023-01-01'" } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "admin", "password": "******", "connection": [{ "jdbcUrl": "jdbc:mysql://dest_host:3306/db2", "table": ["user_backup"] }], "column": ["id","full_name","contact"] } } }], "setting": { "speed": { "channel": 4 // 并发通道数 } } } } ``` #### 2. **执行同步任务** ```bash python datax.py /path/to/your_job.json ``` #### 3. **高级参数配置 | 配置项 | 作用 | 示例值 | |------------------|-------------------------------|---------------| | errorLimit | 允许的最大错误记录数 | {"record": 5} | | speed.byte | 流量限制(字节/秒) | 1048576 | | dryRun | 预检模式(不执行写入) | true | --- ### 三、生产级实践 #### 1. **性能优化技巧** - **增加并发**:修改`channel`数(建议=源数据库连接池上限) - **分批读取**:添加`splitPk`实现分片并行 ```json "reader": { "parameter": { "splitPk": "id", // 按主键分片 "querySql": ["SELECT * FROM orders WHERE id BETWEEN $1 AND $2"] } } ``` #### 2. **断点续传方案** 1. 启用`isResume`标志 2. 配置断点记录目录 ```json "core": { "transport": { "resume": { "isResume": true, "path": "/data/datax/resume_logs/" } } } ``` #### 3. **错误诊断方法 查看详细日志: ```bash tail -f /opt/datax/log/2023-xx-xx_xx.log ``` *常见错误处理*: ```plaintext Connection timed out → 增加数据库超时参数 ERROR Code:[DBUtilErrorCode-10] → JDBC驱动版本不匹配 ``` --- ### 四、扩展应用 #### 1. 集成DataX-Web管理平台 ```bash # 基于引用[3]部署管理界面 git clone https://github.com/WeiYe-Jing/datax-web cd datax-web && mvn package ``` *功能优势*: - 可视化任务配置 - 实时监控同步流量 - 自动生成执行报告[^3] #### 2. 自定义插件开发 1. 实现`Reader`/`Writer`接口 2. 打包放入`plugin`目录 3. 注册至`plugin.json`配置文件 --- > **关键说明** > - 中文路径支持:在`datax.py`添加`JAVA_OPTS="-Dfile.encoding=UTF-8"` > - 内存调整:修改`bin/datax.py`中的`-Xms4096m -Xmx8192m`[^2] > - 插件库更新:定期从[DataX GitHub](https://github.com/alibaba/datax)获取新插件
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值