关于MYSQL的LOAD DATA LOCAL INFILE.

最新推荐文章于 2024-10-24 14:27:23 发布
最新推荐文章于 2024-10-24 14:27:23 发布
阅读量2.6k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： SHELL 文章标签： mysql file table date character query
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kimsung/article/details/5687047
本文介绍了一个Shell脚本，用于从文件中读取数据并将其加载到MySQL数据库的指定表格中。脚本首先解析文件名以获取日期、源和版本信息，然后使用rsync进行文件同步，并通过LOAD DATA LOCAL INFILE命令将数据导入数据库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下段代码是从文件读取数据,加载到mysql数据库里的shell脚本....

 

 

文件格式是

column1/t column2/t column3/n

column1/t column2/t column3/n

column1/t column2/t column3/n

column1/t column2/t column3/n

 

注意后面的SET关键字.

他是给dump文件内容除外,另加column的部分...

 

注释有时间再加..

基于mysql load data local infile的蜜罐
H4ppyD0g的博客
02-14 803
文章目录into outfileload data infile和load data local infile配置mysql远程登陆mysql数据包分析源码 into outfile 查看mysql可写权限目录 SHOW VARIABLES LIKE 'datadir'; +---------------+-----------------+ | Variable_name | Value | +---------------+-----------------+ | datadir
MYSQL 8.0 WORKBENCH使用LOAD DATA LOCAL INFILE报错解决方案
weixin_44296768的博客
01-18 4577
问题出现在我需要用LOAD DATA LOCAL INFILE 导入csv文件，路径为'D:/xxx/xx/xx.csv'时报错，一开始报错找不到文件or文件夹，意思是文件或文件夹必须要在服务器/客户端文件夹下。 搜了一下，这个LOAD DATA LOCAL INFILE需要服务器和客户端都开启本地文件读取，才可以成功运行。 服务端： 进入mysql命令行 输入： SET GLOBAL local_infile=1; 回车，然后找到服务器的上传文件夹，我的是C:\ProgramData\M
MySQL Load data local infile蜜罐
zjcxc(邹建)的Blog - SQL Server
04-16 7301
MySQL Load data local infile蜜罐的个人理解与规避
mysql-load data local infile
siliang13的专栏
03-17 646
在使用load data local infile从文本文件中加载数据到MySQL表中，若不显示指明fields段或enclosed段和line段，默认以制表符‘\t’，即一个tabj键为分隔符 即 如果你不指定一个FIELDS子句，缺省值与如果你这样写的相同： FIELDS TERMINATED BY '\t' ENCLOSED BY '' ESCAPED BY '\\' 如果你不指定一
mysql load data local infile
05-15 430
MySQL中执行Load Data命令， load data local infile '/home/lizhuo/Work/db/device.txt' into table device; 出现如下错误： ERROR 1148 (42000): The used command is not allowed with this MySQL version 启动时加入--loca
MySQL - LOAD DATA LOCAL INFILE将数据导入表中和 INTO OUTFILE (速度快)
weixin_42326851的博客
08-04 1747
MySQL - LOAD DATA LOCAL INFILE将数据导入表中和 INTO OUTFILE (速度快)
MySql 使用load data local infile导入文件
longwenjuan的专栏
05-03 1944
Error Code: 3948. Loading local data is disabled; this must be enabled on both the client and server sides
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
"Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL" Java大批量导入MySQL是一种高效的数据导入方式，使用MYSQL的LOAD DATA LOCAL INFILE语句可以快速地从一个文本文件中读取行，并装入一个表中。...
mysql LOAD DATA LOCAL INFILE 的使用
wb_json的博客
08-17 1418
mysql一次性创建大量的数据时候，会耗时特别长， 使用LOAD DATA LOCAL INFILE会大大缩减时长。当时创建一万条数据，直接添加用时10秒左右，使用LOAD DATA LOCAL INFILE几乎是一秒不到就好了。下面是当时使用的案例，记录一下，以后可能用的上。 class Index { /** * [index description] * @return {[type]} [description] */ public function index...
MySQL导入数据报错：mysql 使用 load data local infile导入数据Loading local data is disabled(Error 3948)和Error 2068
热爱编程、热爱生活、热爱探索
04-30 2241
在学习黑马的MySQL进阶课程时，由于为了测试SQL的性能指标，需要导入一个数据量特别大的表，表中有１０００ｗ条件记录（大约2.2GB的数据），此时老师已经将这1000w条记录拆分成5张表了，我需要使用。该参数的作用是控制导入权限，也就是说MySQL默认是禁止直接从外部导入数据的，相对应的参数还有。：要确保路径正确，同时需要导入五次，我有五张表：tb_sku1、tb_sku2、tb_sku3、tb_sku4、tb_sku5。指令将这五张表导入数据库，结果执行指令的过程中Navicate报了了。
MySQL里load data遇到的问题及解决方法
03-29
此方法并不适应全部的情况，仅供借鉴、参考
MySQL远程导入数据LOAD DATA LOCAL INFILE ...
很多时候，你缺少的不是知识而是热情
11-13 1万+
假设客户端与MYSQL服务器不在同一机器 导入文件在客户端机器上/usr/jfy/tmp/scpcdr.txt，在客户机登录mysql后，执行下面导入语句： LOAD DATA LOCAL INFILE  "/usr/jfy/tmp/scpcdr.txt" into table scpcdr fields TERMINATED by '|'; 正常情况是可以成功的，如果出现提示：
MySQL - LOAD DATA LOCAL INFILE将数据导入表中
热门推荐
麦叔
07-13 2万+
一.语法介绍 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [PARTITION (partition_name [, partition_name] ...)] [CHARACTER S...
MySQL导入文本文件数据（LOAD DATA LOCAL INFILE...）
HaleyTiger的博客
01-15 5029
一、导入SQL语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [PARTITION (partition_name [, partition_name] ...)] [CHARACTER SET charset_name] [{FIELDS | COLUMNS} [TER.
mysql数据库（一）：使用LOAD DATA LOCAL INFILE优化大批量数据导入数据库
踩踩踩从踩的博客
05-17 5861
使用LOAD DATA LOCAL INFILE 导入txt数据到数据库中，可以提高从文件中导入数据到数据库效率，并且降低服务器内存使用，提高效率的作用
LOAD DATA LOCAL INFILE，提示ERROR 1148 (42000): The used command is not allowed with this MySQL version
PYTandFA的博客
04-16 1646
问题描述 环境：win7 MySQL Server 8.0 MySQL直接安装到本机，利用"LOAD DATA LOCAL INFILE filename INTO TABLE tablename"将EXCEL转换成的csv文件导入数据库中表时，提示如下错误： ERROR 1148 ...
使用MySQL导入亿级数据：load data local infile
weixin_45761659的博客
07-26 7053
文章目录使用MySQL命令load data local infile导入亿级数据需求解决方案1、使用 Navicat2、使用load data local infile遇到的问题1：ERROR 1148 (42000)解决办法3、结果 使用MySQL命令load data local infile导入亿级数据 需求 研究车联网，手中有一个16G左右的数据，为了能够方便处理数据，需要将数据存入MySQL中 解决方案 1、使用 Navicat 1、先建表 2、导入向导，选择源文件的格式 导入小数据速度还可以，
开启 MySQL 导入文本文件数据（LOAD DATA LOCAL INFILE...）
qq_35485206的博客
10-24 1653
临时开启命令：登录后复制 SHOW GLOBAL VARIABLES LIKE 'local_infile'; SET GLOBAL local_infile=1;1.2.直接在服务器可以使用登录后复制 ./mysql -u root --local-infile -p load data local infile...
mysql load 条件_浅谈MySQL load data local infile细节 -- 从源码层面
weixin_36482579的博客
01-27 889
相信大伙对mysql的load data local infile并不陌生，今天来巩固一下这里面隐藏的一些细节，对于想自己动手开发一个mysql客户端有哪些点需要注意的呢？首先，了解一下流程：3个点：1、Is '/' exists?对于客户端来说，在文件发送前是先检查一下文件是否存在；2、filename前建议加上绝对路径；3、空包，表示命令已执行完毕。接下来，一起来学习下官方源码(版本5.5.3...
mysql。LOAD DATA LOCAL INFILE 命令
最新发布
07-18
<think>我们正在讨论MySQL的LOAD DATA LOCAL INFILE命令，该命令用于将本地文本文件中的数据导入到数据库表中。根据引用内容，我们可以总结出以下关键点： 1. 基本语法：`LOAD DATA LOCAL INFILE '文件路径' INTO TABLE 表名` [^2][^3] 2. 可以指定字段分隔符（如TAB、逗号等）和行分隔符（如换行符）[^3][^4] 3. 可以指定字符集（如gbk）[^4] 4. 可以指定要导入的列[^3] 5. 默认情况下，要求数据文件中的列与表中的列顺序和数量一致，但可以通过指定列名来映射[^3] 现在，我们将按照以下步骤详细说明如何使用LOAD DATA LOCAL INFILE： ### 1. 准备数据文件 数据文件应该是文本格式，每行代表一条记录，字段之间用特定的分隔符（如TAB、逗号等）分隔。例如，一个用逗号分隔的文件（CSV）可能如下： ``` "张三",25,"工程师" "李四",30,"产品经理" ``` ### 2. 基本导入命令 ```sql LOAD DATA LOCAL INFILE '文件路径' INTO TABLE 表名 FIELDS TERMINATED BY '字段分隔符' -- 例如：',' 或 '\t'（制表符） ENCLOSED BY '"' -- 可选，字段包围符，如双引号 LINES TERMINATED BY '行分隔符' -- 例如：'\n'（Unix/Linux）或 '\r\n'（Windows） (列1, 列2, 列3); -- 可选，指定要导入的列（如果文件列顺序与表不一致或只导入部分列） ``` ### 3. 处理字符集 如果文件使用的字符集与数据库默认字符集不同，可以使用`CHARACTER SET`指定： ```sql LOAD DATA LOCAL INFILE '文件路径' INTO TABLE 表名 CHARACTER SET gbk -- 指定文件字符集 ... ``` ### 4. 忽略错误 使用`IGNORE`关键字可以忽略一些错误（如重复主键）： ```sql LOAD DATA LOCAL INFILE ... IGNORE ... ``` ### 5. 示例 假设有一个表`employee`，包含`name`, `age`, `title`三列，数据文件`d:/data.txt`是用分号分隔，每行以`\r\n`结束，字符集为UTF8，并且文件中的列顺序与表一致。 命令如下： ```sql LOAD DATA LOCAL INFILE 'd:/data.txt' INTO TABLE employee CHARACTER SET utf8 FIELDS TERMINATED BY ';' LINES TERMINATED BY '\r\n' (name, age, title); ``` ### 注意事项 - 需要确保MySQL服务有权限读取该文件。 - 如果使用`LOCAL`关键字，则文件位于客户端主机上，否则位于服务器主机上。 - 使用`LOCAL`时，需要配置MySQL客户端和服务器允许本地文件加载（可能需要设置`local_infile=1`）。 ### 启用LOCAL功能 在连接MySQL时，可能需要显式启用LOCAL功能。例如，在命令行客户端连接时： ```bash mysql --local-infile=1 -u username -p ``` 或者在MySQL会话中设置： ```sql SET GLOBAL local_infile=1; ``` ### 错误处理 如果遇到错误，如“The used command is not allowed with this MySQL version”，则需要检查`local_infile`系统变量是否开启。 以上内容综合了引用的信息[^2][^3][^4]，并进行了扩展说明。 §§相关问题§§ 1. 如何解决LOAD DATA LOCAL INFILE命令的权限问题？ 2. 使用LOAD DATA LOCAL INFILE时如何跳过文件中的第一行（标题行）？ 3. LOAD DATA LOCAL INFILE和INSERT语句在性能上有什么区别？</think>### MySQL LOAD DATA LOCAL INFILE 使用方法详解 `LOAD DATA LOCAL INFILE` 命令用于将本地文本文件高效导入到 MySQL 数据库中。以下是详细使用方法和注意事项： #### 1. **基本语法** ```sql LOAD DATA LOCAL INFILE '文件路径' INTO TABLE 表名 [FIELDS 子句] [LINES 子句] [IGNORE 行数 LINES] [(列1, 列2, ...)] ``` #### 2. **核心参数说明** - **文件路径**：本地文件绝对路径（如 `'C:/data/import.txt'`），注意使用正斜杠 - **字段处理**（关键参数）： ```sql FIELDS TERMINATED BY '分隔符' -- 如 ',' 或 '\t'（制表符） ENCLOSED BY '包围符' -- 如 '"'（双引号） ESCAPED BY '转义符' -- 默认为 '\' ``` - **行处理**： ```sql LINES TERMINATED BY '行结束符' -- 如 '\n'（Linux）或 '\r\n'（Windows） ``` - **跳过标题行**： ```sql IGNORE 1 LINES -- 跳过第一行（如CSV标题行） ``` - **指定列映射**： ```sql (col1, col2, col3) -- 文件列与表列按顺序对应 ``` #### 3. **完整示例** ```sql LOAD DATA LOCAL INFILE '/tmp/employees.csv' INTO TABLE employees CHARACTER SET utf8mb4 -- 指定字符集 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES -- 跳过CSV标题行 (emp_id, name, department, salary); ``` #### 4. **关键注意事项** 1. **权限配置**： - 需在 MySQL 配置文件 (`my.cnf`) 添加： ```ini [mysql] local-infile=1 [mysqld] local_infile=1 ``` - 或运行时启用： ```sql SET GLOBAL local_infile = 1; ``` 2. **文件格式要求**： - 默认字段分隔符是制表符 `\t` - 文本编码需与数据库一致（用 `CHARACTER SET` 指定） - Windows 文件需设置 `LINES TERMINATED BY '\r\n'` 3. **错误处理**： - 添加 `REPLACE` 或 `IGNORE` 关键字处理主键冲突： ```sql LOAD DATA ... REPLACE ... -- 替换重复记录 ``` #### 5. **性能优化建议** - 导入前禁用索引： ```sql ALTER TABLE 表名 DISABLE KEYS; -- 执行LOAD DATA... ALTER TABLE 表名 ENABLE KEYS; ``` - 大文件导入时关闭自动提交： ```sql SET autocommit=0; -- 执行LOAD DATA... COMMIT; ``` #### 6. **常见错误解决** - **ERROR 1148 (42000)**：未启用本地加载 ```sql mysql --local-infile=1 -u user -p # 连接时启用 ``` - **ERROR 2068 (HY000)**：文件路径错误 ```bash chmod 644 /path/to/file # 确保文件可读 ``` > **提示**：对于 CSV 文件导入，推荐先用文本编辑器验证文件格式（如无BOM头），复杂数据清洗可使用 Python 预处理后再导入[^1][^3][^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值