datax 从 txtfile 到 mysql

最新推荐文章于 2024-07-31 10:04:07 发布

原创最新推荐文章于 2024-07-31 10:04:07 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#mysql

本文详细介绍了使用DataX从TXT文件批量导入数据到MySQL数据库的过程，包括配置参数、执行时间和性能分析，对于处理大规模数据迁移提供了实用的参考。

试一下datax 的txt—>mysql 一百多兆的文件里面大概有十几万数据花了四分钟慢不？

{
 "job": {
  "setting": {
   "speed": {
    "channel": 1
   }
  },
  "content": [{
   "reader": {
    "name": "txtfilereader",
    "parameter": {
     "path": ["路径"],
     "encoding": "utf-8",
     "column": [{
      "index": 1,
      "type": "string"
     }, {
      "index": 2,
      "type": "string"
     }, {
      "index": 3,
      "type": "string"
     }, {
      "index": 4,
      "type": "string"
     }, {
      "index": 5,
      "type": "string"
     }, {
      "index": 6,
      "type": "string"
     }, {
      "index": 7,
      "type": "string"
     }, {
      "index": 8,
      "type": "string"
     }, {
      "index": 9,
      "type": "string"
     }, {
      "index": 10,
      "type": "string"
     }, {
      "index": 11,
      "type": "string"
     }, {
      "index": 12,
      "type": "string"
     }],
     "fieldDelimiter": "分隔符"
    }
   },
   "writer": {
    "name": "mysqlwriter",
    "parameter": {
     "writeMode": "insert",
     "username": "username",
     "password": "password",
     "column": ["xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx", "xxx"],
     "session": [
      "set session sql_mode='ANSI'"
     ],
     "connection": [{
      "jdbcUrl": "jdbc:mysql://ip:port/dbname?useUnicode=true",
      "table": [
       "tablename"
      ]
     }]
    }
   }
  }]
 }
}