在Mysql中，导入大量数据时，用load指令代替insert指令的使用操作

---

前言

LOAD指令是MySQL数据库的一个功能强大的特性，它允许从外部文件中读取数据，并将其直接加载到表中，而不是使用INSERT语句逐条插入。在数据库日常运维和数据处理工作中，数据的插入操作是非常常见的，尤其是在需要处理大量数据时，操作的效率就显得尤为重要。通过使用LOAD指令，可以利用数据库的内部优化机制，将插入操作的性能提升到一个全新的水平。
举例说明： 如果需要一次性插入大批量数据（例如：几百万条记录），使用 INSERT 语句插入性能会较低。这是因为每执行一条INSERT语句，数据库都需要进行一系列的操作，如：

• 解析SQL语句
• 检查约束
• 记录日志

这些操作会随着插入数据量的增加而变得非常耗时。在这种情况下，可以考虑使用 MySQL 数据库提供的 LOAD 指令来进行插入操作，以提高性能。LOAD指令会将整个文件的数据作为一个整体进行处理，减少了重复操作的开销，从而显著提高插入效率。

注意： 使用LOAD指令进行数据插入时，需要准备一个包含要插入数据的外部文件（例如CSV文件），然后使用适当的选项配置LOAD指令，例如指定表名、字段分隔符、行分隔符等。然后，MySQL数据库将读取外部文件中的数据，并将其批量插入到指定的表中，大大减少了插入数据的时间和资源消耗。

---

1、客户端连接参数配置

在客户端连接服务端时，需要加上参数 local-infile:

mysql –-local-infile -u root -p 

解释： 在默认情况下，MySQL客户端是不允许从本地加载文件的。通过添加--local-infile参数，可以确保客户端具有从本地加载文件的能力。

---

2、全局参数设置

2.1、查询 local_infile 值

首先，查询 local_infile 的值，可以使用以下命令：

select @@local_infile;

解释： 该命令用于查看MySQL服务器当前是否允许从本地加载文件。

• 查询结果如果为0，则表示不允许；
• 如果为1，则表示允许。

需要确保 local_infile 的值为允许加载本地文件的状态，即值为1，才能顺利使用LOAD指令加载本地文件。

2.2. 设置全局参数

然后，将全局参数 local_infile 设置为1，以开启从本地加载文件导入数据的开关。可以使用以下命令进行设置：

 set global local_infile = 1; 

设置目的： 如果在查询local_infile值时发现其为0，则需要执行此命令将其设置为1。这样就可以确保 MySQL 数据库允许从本地加载文件。
注意：set global命令需要具有足够权限的用户才能执行，一般是管理员用户。而且该设置是全局的，会影响所有客户端连接，直到服务器重启或再次修改该参数。

---

3、执行 Load 指令

执行load指令，将准备好的数据加载到表结构中：

 load data local infile '在系统中中存放的位置' into table 要存入的数据表 fields terminated by ',' lines terminated by '\n' ;

指令详解：

• 在系统中存放的位置：指定准备好的数据文件在系统中的存放位置，可以是文件的绝对路径或相对路径。
• 要存入的数据表：指定目标数据表的名称，确保表结构与外部文件的数据格式相匹配。
• fields terminated by ','：指定字段之间的分隔符，常见的是逗号（,）。
• lines terminated by '\n'：指定行之间的分隔符，常见的是换行符（\n）。

4、处理特殊情况

在实际使用中，可能会遇到一些特殊情况，例如文件中有表头，我们不希望将表头数据插入到表中。这时可以使用IGNORE 1 LINES选项，修改后的LOAD指令如下：

load data local infile '在系统中存放的位置' into table 要存入的数据表 fields terminated by ',' lines terminated by '\n' IGNORE 1 LINES;

这样，MySQL在加载数据时会忽略文件的第一行，即表头。

---

5、总结

使用 load 代替 insert 语句能显著提升 MySQL 数据库大批量数据插入的性能，通过合理配置相关参数和正确使用 LOAD 指令，可以高效地将外部文件中的数据加载到数据库表中。