mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

最新推荐文章于 2025-01-07 10:29:00 发布

转载最新推荐文章于 2025-01-07 10:29:00 发布 · 282 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/dailidong/p/7571074.html

文章标签：

#数据库

本文介绍如何使用LOAD DATA INFILE命令高效地将5000万条数据导入MySQL数据库中，通过调整数据库配置参数及禁用索引更新等方法，显著提升了数据导入效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下，并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误

1.${table_name}换myisam，我们的场景对事务没啥要求，innodb引擎速度太慢了,原来导入12个小时都没导完

2.导入前修改参数和禁止索引更新
mysql> SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql> SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;

mysql> set global KEY_BUFFER_SIZE=256217728;
mysql> alter table ${table_name} disable keys;

mysql> LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)

3.导入后
mysql> ALTER TABLE ${table_name} ENABLE KEYS;

耗时统计：
LOAD DATA INFILE... 这步耗时8分钟左右
ALTER TABLE... 这步耗时12分钟左右

转载于:https://www.cnblogs.com/dailidong/p/7571074.html