开始认人真真写博客,复习了!
新项目要把txt文件导入到mysql数据库中,文件中大约百万级数据量,选用的是mysql中的LOAD DATA 语法。此语法在导入大数据量的数据时性能极好,但导入少数据量的数据时性能差,内部原理后期探讨,先看语句。
LOAD DATA LOCAL INFILE 'D:\\test.txt' INTO TABLE test
FIELDS TERMINATED BY ','
ENCLOSED BY '\"'
LINES TERMINATED BY '\\r\\n'
IGNORE 1 ROWS
其中
TERMINATED BY 以什么字符作为分隔符
ENCLOSED BY 字段闭合标签
IGNORE 1 ROWS 忽略特定行数,CSV文件可以忽略掉第一行标题
语句就是以上形式,语句的性能我没有真是测过,其他同事测过,性能可以参考
https://blog.youkuaiyun.com/Milogenius/article/details/95733175
过程中遇到的问题可以参考
https://blog.youkuaiyun.com/ShoneX98/article/details/85230721
本文介绍了如何使用MySQL的LOADDATA INFILE语法高效地将大量TXT数据导入到数据库中,特别是针对百万级数据量的情况。在实践中,LOADDATA提供了出色的性能,并且详细解释了语句的各个部分,如FIELDTERMINATEDBY、ENCLOSEDBY和IGNORE1ROWS等选项的含义。同时,文中提到了可能遇到的问题及其解决方案,并提供了相关链接供参考。
5128

被折叠的 条评论
为什么被折叠?



