mysql LOAD DATA LOCAL INFILE导入到数据库后第一行第一列数据为0的问题

最新推荐文章于 2022-08-25 19:24:47 发布
原创 最新推荐文章于 2022-08-25 19:24:47 发布 · 4.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用UTF-8编码时遇到的问题——带有BOM标记的UTF-8文件在Unix系统中解析出现错误的原因及解决方案。指出带BOM的UTF-8文件会比不带BOM的多出三个字节，这在Windows系统下可以被自动识别处理，但在Unix系统中则会导致解析错误。解决方法是将文件转换为无BOM的UTF-8格式。

是因为数据文件以有BOM的UTF-8保存的，改为无BOM的UTF-8格式保存即可。

原因：有BOM的会比无BOM的多出3个字节，windows系统可以自动识别处理，unix系统无法识别BOM多出来的3个字节，导致解析错误。


参考：http://www.cnblogs.com/lfire/archive/2012/11/20/2778939.html

kirrin
关注
LOAD DATA INFILE 导入数据到MySQL，出现日期类型异常显示为0000-00-00 00:00:00的解决办法
小白的编码屋
05-09 5435
写完之前百万数据导入的总结后，最近还真经常遇到需要把百万数据导入MySQL，就用最快的Load Data Infile这个方法导入，但是今天遇到了要导入的数据里面含有日期类型，如果还是按之前写法导入就出现了如下异常的日期格式????： 这是怎么回事呢？掌柜再次翻阅全网，发现造成这样的原因有很多，其中主要原因是因为插入的数据不合规。比如插入数据长度超出该字段的设置值、无效字符、插入数据的格式不对等。后来掌柜经过一番排查后发现，我这里出错的原因是因为插入的格式不符合MySQL默认的日期格式导致的。 那么解决的
解决Mysql导入csv中空值变为0的问题：导入数据时设定格式
热门推荐
duckyamd的博客
11-12 1万+
网上许多优化教程以及官方均认为（http://www.jb51.net/article/24392.htm），空值置为0有利于节省空间，实际上Mysql也是这么做的，在导入数值型字段时，默认将空值置为0。 但实际中，数据本身的空值也是包含信息的，与0值并不一样。举个栗子，有一组数据： null, null, 1, 2, 3 求均值时应该为(1+2+3)/3=2，如果在导入数据后其均值则会变为(
本地windows数据库迁移数据(表)到阿里云/LINUX环境(mysql 数据迁移处理空字符串导入数据库默认变成0的情况)
weixin_61596777的博客
04-14 962
本人实际生产情况: 1.环境: a.自己的pc,本地windows环境,连接到公司本地的mysql数据库207 b.生产环境是阿里云,远程服务器,由于权限限制需要通过linux连接到生产的数据库209,进行数据增删改操作 2.需求: a.将本地的数据库中的部分表迁移到生产环境数据库209中 3.实现方式 a.source + 路径+...
mysql load data infile 导入数据 某一列 空_Sql数据挑战赛&网络销售案例分析
weixin_39899021的博客
12-19 639
SQL挑战赛第一期:1: 编写一个查询，列出员工姓名列表，员工每月工资超过2000美元且员工工作时间少于10个月。通过提升employee_id对结果进行排序select name from employee where salary > 2000 and months < 10 order by employee_id;2: 查询 Employee 表格中以元音字母开头的 name ...
mysql load 为空的话,mysql LOAD DATA INFILE NA转换为NULL
weixin_31448735的博客
03-17 1567
mysql LOAD DATA INFILE命令中是否有一个选项,可以将.tsv文件作为mysql LOAD DATA INFILE的输入,并将该文件中的每个“ NA”字段转换为mysql中的NULL？另外,还可以采用多个不同的名称,例如“ NaN”,“ NA”,“-”等,并将它们全部转换为“ NULL”.解决方法:您可以使用变量：LOAD DATA LOCAL INFILE 'file.tsv'...
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
"Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL" Java大批量导入MySQL是一种高效的数据导入方式，使用MYSQL的LOAD DATA LOCAL INFILE语句可以快速地从一个文本文件中读取行，并装入一个表中。...
MySQL导入文本文件数据（LOAD DATA LOCAL INFILE...）
HaleyTiger的博客
01-15 5138
一、导入SQL语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [PARTITION (partition_name [, partition_name] ...)] [CHARACTER SET charset_name] [{FIELDS | COLUMNS} [TER.
mysql 远程load data_mysql导入数据load data infile用法整理
weixin_32183107的博客
01-18 2034
有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必...
使用MySQL导入亿级数据：load data local infile
weixin_45761659的博客
07-26 7161
文章目录使用MySQL命令load data local infile导入亿级数据需求解决方案1、使用 Navicat2、使用load data local infile遇到的问题1：ERROR 1148 (42000)解决办法3、结果 使用MySQL命令load data local infile导入亿级数据 需求 研究车联网，手中有一个16G左右的数据，为了能够方便处理数据，需要将数据存入MySQL中 解决方案 1、使用 Navicat 1、先建表 2、导入向导，选择源文件的格式 导入小数据速度还可以，
MySQL Load data local infile蜜罐
zjcxc(邹建)的Blog - SQL Server
04-16 7387
MySQL Load data local infile蜜罐的个人理解与规避
txt文件导入Mysql提示导入成功但是只有一条ID为0的无效数据
小太阳~
05-25 4504
出现的问题： 在mysql命令行使用下面的命令导入数据： load data infile "F:\\test.txt" into table test fields terminated by '\t' lines terminated by '\r\n'; 导入之后提示已经导入成功，修改记录条数为1条。打开看到一个ID为0的记录，但是txt文件中有很多记录，而且并没有这条ID为0的记录
mysql load data infile 导入数据 某一列 空_第十期：Mysql部署(源码、yum)以及Mysql常用命令操作...
weixin_39887748的博客
12-11 346
一. 安装mysql1.1 Yum安装mysql#安装[root@master ~]# yum install –y mariadbmariadb-devel mariadb-server#安装完成之后可以查询一下软件是否安装成功[root@master ~]# rpm -qa | grep mariadbmariadb-libs-5.5.65-1.el7.x86_64mariadb...
mysql load data处理空字符串导入数据库默认变成0的情况
何必说
05-28 5854
会发生这种情况，一定是字段为int或者float类型，它会把空字符串默认为0，varchar则会还是空字符串 解决办法一般为两个：第一个把所有空字符串替换为\N，但这种不现实也很难实现 推荐第二个： load data infile 'F:/factor_db/barra_test' into table t_stock_factor_barra fields terminated by '\t' lines terminated by '\r\n' ignore 1 lines (`full_in
MySQL查询将一个值设置为 1，将所有其他值设置为 0
wgchen
08-18 1261
MySQL查询将一个值设置为 1，将所有其他值设置为 0
解决mysql load data加载本地null数据，表里出现0的情况
qq_37288262的博客
08-25 1958
解决mysql load data加载本地null数据，表里出现0的情况
mysql load 为空的话_Mysql中的load语句对null的处理
weixin_29628637的博客
01-21 1505
Load语法LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE]INTO TABLE tbl_name[FIELDS[TERMINATED BY '\t'][OPTIONALLY] ENCLOSED BY ''][ESCAPED BY '\\' ]][LINES TERMINATED BY '\n'][...
csv导入mysql后第一列没有值,csv文件转换成sql导入到数据库，没有数据为何？
weixin_35305499的博客
04-01 452
执行的顺序：1)文件浏览框(选择文件使用)选择好文件后点击一个导入按钮的时候 ，把上面上传框里的csv文件以一个ID为文件名，上传到**/**文件夹下2)读取这个文件夹下的csv的文件，转换成sql3)然后再insert到数据库里但是中间的转换似乎除了问题，没有数据请各位帮忙看看是不是哪里出了问题↓↓↓if ($_FILES['csv_file_road']['tmp_name'] != '') ...
使用Python解析并“篡改”MySQL的Binlog---发表到爱可生开源社区
姚远OracleACE的博客
09-28 2217
文章目录前言Binlog的结构恢复误删除的记录找出 Binlog 中的大事务切割 Binlog 中的大事务后记 前言 MySQL 的 Binlog 记录着 MySQL 数据库的所有变更信息，了解 Binlog 的结构可以帮助我们解析Binlog，甚至对 Binlog 进行一些修改，或者说是“篡改”，例如实现类似于 Oracle 的 flashback 的功能，恢复误删除的记录，把 update 的记录再还原回去等。本文将带您探讨一下这些神奇功能的实现，您会发现比您想象地要简单得多。本文指的 Binlog 是
mysql使用load data模式导入数据
china_3的专栏
10-20 774
table_list2=( schema名.表名 schema名.表名2 ) fields=( "id,project_no,product_no" "id,due_bill_no,term,project_no,product_no" ) mysql -u acc_write -h服务器IP地址-P端口 -p'密码' -e \"LOAD DATA LOCAL INFILE '${export_file}' INTO TABLE ${table_list2[db_tb]} FIELDS T...
delphi 10 用LOAd data local infile导入mysql数据库的几种方式
最新发布
06-25
<think>我们正在讨论在Delphi10中使用MySQL的LOADDATALOCALINFILE语句来导入数据。这是一个高效的方法，特别适合大量数据的导入。首先，我们需要确保MySQL服务器和客户端都允许本地文件加载。在MySQL服务器配置中，需要设置`local_infile`参数为ON。此外，在客户端连接时，也需要指定允许本地文件加载。在Delphi中，我们可以使用TFDConnection（FireDAC组件）来连接MySQL数据库。以下是一个基本的步骤：1.**设置TFDConnection连接参数**：我们需要配置TFDConnection以连接到MySQL数据库，并在连接参数中启用`local_infile`。2.**构建LOADDATALOCALINFILE语句**：这是一个SQL语句，用于指定要导入的文件路径和目标表。3.**执行SQL语句**：使用TFDConnection或TFDQuery来执行这个SQL语句。下面是具体的代码示例：```delphivarFDConnection1:TFDConnection;beginFDConnection1:=TFDConnection.Create(nil);try//设置连接参数FDConnection1.DriverName:='MySQL';//使用FireDAC的MySQL驱动withFDConnection1.ParamsdobeginAdd('Server=your_server');Add('Database=your_database');Add('User_Name=your_username');Add('Password=your_password');//启用本地文件加载Add('AllowLoadLocalInfile=True');//关键参数end;//连接数据库FDConnection1.Connected:=True;//执行LOADDATALOCALINFILE语句FDConnection1.ExecSQL('LOADDATALOCALINFILE''C:\\path\\to\\your\\file.csv'''+'INTOTABLEyour_table'+'FIELDSTERMINATEDBY'','''+'ENCLOSEDBY''"'''+'LINESTERMINATEDBY''\n'''+'IGNORE1ROWS;'//如果第一行是标题，则忽略);ShowMessage('数据导入成功！');exceptonE:ExceptiondoShowMessage('导入失败:'+E.Message);end;FDConnection1.Free;end;```**注意点**：-文件路径：在Windows中，路径分隔符是双反斜杠`\\`。-字段分隔符、包围符和行终止符：需要根据实际文件格式调整。-权限：确保应用程序有权限读取该文件。-安全：使用LOADDATALOCALINFILE时要注意安全风险，因为它可以读取客户端文件系统上的文件。确保只从可信位置加载文件。如果遇到问题，比如权限错误，需要检查：-MySQL服务器端的`local_infile`是否开启（可以通过`SHOWGLOBALVARIABLESLIKE'local_infile';`查看）。-客户端连接时是否启用了允许本地文件加载（在连接参数中设置`AllowLoadLocalInfile=True`）。另外，在较新的MySQL版本中，可能需要使用`OPT_LOCAL_INFILE=1`选项。FireDAC的`AllowLoadLocalInfile`参数应该已经处理了这个问题。如果文件路径包含空格或特殊字符，可能需要使用额外的转义。如果遇到乱码问题，确保文件编码与数据库表编码一致（如UTF-8）。希望这个方法对你有帮助！§§相关问题§§1.如何解决使用LOADDATALOCALINFILE时的权限问题？2.在Delphi中如何批量执行多个数据导入任务？3.如何提高LOADDATALOCALINFILE导入数据的速度？</think>在 Delphi 10 中使用 `LOAD DATA LOCAL INFILE` 导入 MySQL 数据的完整方法如下，该方法通过 FireDAC 组件实现高效数据导入： ### 核心步骤 1. **配置 MySQL 服务器** 在 `my.ini` 文件中启用本地文件加载： ```ini [mysqld] local_infile=ON ``` 重启 MySQL 服务使配置生效[^1]。 2. **Delphi 组件设置** ```delphi // 使用 FireDAC 连接 MySQL var FDConnection: TFDConnection; FDQuery: TFDQuery; begin FDConnection := TFDConnection.Create(nil); FDQuery := TFDQuery.Create(nil); try FDConnection.DriverName := 'MySQL'; FDConnection.Params.Add('Server=localhost'); FDConnection.Params.Add('Database=yourdb'); FDConnection.Params.Add('User_Name=root'); FDConnection.Params.Add('Password=123456'); FDConnection.Params.Add('AllowLoadLocalInfile=True'); // 关键参数 FDConnection.Connected := True; FDQuery.Connection := FDConnection; // 执行导入命令 FDQuery.SQL.Text := 'LOAD DATA LOCAL INFILE ''C:\data.csv'' ' + 'INTO TABLE your_table ' + 'FIELDS TERMINATED BY '','' ' + 'ENCLOSED BY ''"'' ' + 'LINES TERMINATED BY ''\r\n'' ' + 'IGNORE 1 ROWS'; // 跳过CSV标题行 FDQuery.ExecSQL; finally FDQuery.Free; FDConnection.Free; end; end; ``` 3. **CSV 文件格式要求** - 示例文件 `data.csv`： ```csv id,name,value 1,"Apple",10.5 2,"Orange",8.3 ``` - 需确保文件编码与数据库一致（推荐 UTF-8） ### 关键注意事项 1. **权限问题解决** - 如果报错 `The used command is not allowed`： ```sql GRANT FILE ON *.* TO 'your_user'@'localhost'; FLUSH PRIVILEGES; ``` - 客户端需在连接字符串启用 `AllowLoadLocalInfile=True`[^1] 2. **路径转义处理** Windows 路径需双反斜杠或正斜杠： ```delphi 'LOAD DATA LOCAL INFILE ''C:\\data.csv'' ...' // 或 'C:/data.csv' ``` 3. **性能优化** ```sql ALTER TABLE your_table DISABLE KEYS; -- 执行导入 ALTER TABLE your_table ENABLE KEYS; ``` ### 常见错误处理 | 错误代码 | 原因 | 解决方案 | |---------|------|---------| | **ERROR 1148** | 服务器未启用 `local_infile` | 检查 `my.ini` 配置并重启 MySQL | | **ERROR 1290** | 客户端未启用本地加载 | 连接参数添加 `AllowLoadLocalInfile=True` | | **ERROR 13** | 文件访问权限不足 | 确保 Delphi 进程有文件读取权限 | ### 完整示例流程图 ```mermaid graph TD A[准备CSV文件] --> B{配置MySQL} B -->|启用local_infile| C[Delphi连接设置] C --> D[构建LOAD DATA命令] D --> E[执行SQL导入] E --> F[验证导入结果] ``` > **安全提示**：该方法会读取客户端文件系统，仅从可信路径加载数据[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值