1.DataX 的配置文件是 JSON 格式,主要由 job
和 setting
两部分组成:
- job:定义数据同步任务的 reader 和 writer。
- setting:定义任务的运行参数,例如速度控制、错误处理等。
示例:从 MySQL 导入到 HDFS
下面是一个示例配置文件,展示如何从 MySQL 数据库读取数据并导入到 HDFS。
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "your_username",
"password": "your_password",
"column&