mysql大量数据导入

最新推荐文章于 2025-03-12 16:24:55 发布
最新推荐文章于 2025-03-12 16:24:55 发布 · 109 阅读 · 0
文章标签：

#数据库

本文介绍了在MySQL数据库中导入大量数据时遇到的问题及解决方案。主要问题是由于MySQL对语句长度有限制导致导入失败，提供了两种解决方法：一是修改MySQL配置；二是使用source命令直接导入SQL文件。

今天,项目继续整合,其中一个工作是把测试服务器上的数据导入到正式运行的服务器中.那位的数据很大,总共有1000多条,我导成sql文件,然后再复制语句,粘贴到运行服务器的数据库中,竟然运行出错.

小大神说,这是因为mysql限制了运行语句的长度,有两种解决方法:

1:修改mysql的一个配置

2:用source test.sql 语句导入

第二种方法比较简单.

不说了,没心情.

iteye_20271
关注
从MySQL导入导出大量数据的程序实现方法
10-07
大家一定使用过 PHPmyadmin 里面的数据库导入，导出功能，非常方便。但是在实际应用中，我发现如下几个问题： 1 数据库超过一定尺寸，比如6M 这时使用导出一般没问题，可以正确的保存到本机硬盘上面，但是导入则不行！原因是：一般的 PHP.INI 里面设置临时文件/上传文件的大小限制为2M，而phpmyadmin使用了上传的方式，造成失败。 2 导出到硬盘的 .SQL 文件在导回时，经常出现由于某些单引号的问题引起失败，造成导入失败，只能用 MySQL等应用程序导入了。 我的数据库已经超过10M,所以必须解决这个问题。我的思路： 导出： 用phpmyadmin 保存数据库/表格结构，用脚本读取数据库内容并保存到文件里面！ 导入： 用phpmyadmin 恢复数据库/表格结构，用脚本读取文件，然后保存到库里面！ 导出程序如下：调用方法为 ****.php?table=tablename 这个简单的程序目前一次保存一个表格！！每行为一个字段的数据！！
mysql数据库大数据量导入导出多种方法
01-14
mysql数据库大数据量导入导出多种方法，该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法
MySql 通过 LOAD DATA INFILE 导入大量数据
lxl_family的专栏
01-07 1611
背景：要在本地Mysql导入几十万-百万条数据非常耗时，从网上找到通过load data infile 方式可以快速导入大量数据，就动手尝试了。结果就是不太适合复杂的格式数据导入，比如字段多，数据格式多等，但对于简单的表导入大量数据还是很实用的，因此记录下使用方法。
Mysql 大量数据导入
weixin_33714884的博客
07-01 147
今天试图用heidisql 导入一个150M的数据文件(.sql), 结果报out of memory 错误。在网上搜了很多案例，都没能解决问题。我甚至怀疑是mysql 的default的内存设置的太小了。于是跑到my.ini文件里修改了innodb_buffer_pool_size  为96M * 6的大小。 到heidisql里面再去import，报错信息不会立刻出来了，但是隔了大概一分钟还是...
MySQL如何导入大量数据？
09-22 8007
有时我们会遇到需要将大量数据导入MySQL的需求，一般数据存储在csv或者txt中，数据由","分隔。这里提供两种方案供大家选择。
分析Mysql大量数据导入遇到的问题以及解决方案
12-16
在项目中，经常会碰到往数据库中导入大量数据，以便利用sql进行数据分析。在导入数据的过程中会碰到一些需要解决的问题，这里结合导入一个大约4G的txt数据的实践，把碰到的问题以及解决方法展现出来，一方面自己做个...
MySQL数据库迁移快速导出导入大量数据
09-09
这两个命令可以显著提高数据导入的速度，官方文档指出其效率是逐条插入的20倍。不过，确保导出和导入时的字段和行处理选项匹配至关重要，否则`LOAD DATA INFILE`可能无法正确解析文件内容。 例如，一个从Windows...
php导入大量数据到mysql性能优化技巧
10-24
在执行大量数据导入时，合理使用事务控制可以保证数据的一致性，并且在数据导入出错时，可以迅速地回滚到导入之前的状态。 11. **合理分批处理**： 在进行大量数据导入时，应避免一次性导入过多数据，而应该合理...
mysql导入大量数据方法.pdf
03-01
【MySQL大量数据导入方法】 在处理大型MySQL数据库的导入任务时，传统的工具如phpMyAdmin可能会面临限制，尤其是在处理超过2MB甚至更大的SQL备份文件时。phpMyAdmin由于其处理能力有限，可能导致导入失败，特别是在...
mysql导入大量数据
Mr. Wu's blog
12-07 1227
mysql导入巨量数据
MySQL 大数据量导入与导出全攻略
我爱娃哈哈的专栏
10-01 1715
处理大数据量的导入和导出是 MySQL 数据库管理中的一个重要任务。通过合理地选择导出和导入方法，以及优化操作过程，可以提高数据处理的效率和可靠性。同时，使用工具如 XtraBackup 可以进行高效的备份和恢复操作。需要注意数据的完整性和一致性，以及对系统资源的合理利用。文章（专栏）将持续更新，欢迎关注公众号：服务端技术精选。。个人小工具程序上线啦，通过公众号（服务端技术精选）菜单【个人工具】即可体验，欢迎大家体验后提出优化意见！500个访问欢迎大家踊跃体验哦~
Mysql 快速导入大量数据的方法
最新发布
weixin_44130115的博客
03-12 605
LOAD DATA INFILE 无疑是Mysql导入大量数据最快的方法，初学者使用TABLE DATA IMPORT WIZARD导入十万条数据都要十几分钟，而 LOAD DATA INFILE 是官方推荐的最高效的批量导入方式，适合 CSV/TXT 格式文件。LOAD DATA INFILE 具体执行操作可以划分为两种方法，如下。具体的操作步骤如下：首先执行以下这句命令，因为一般情况下，Mysql为了安全，仅允许从指定的目录加载文件，防止Mysql访问电脑中不安全的文件路径；所以我们得先查看以下是否指定
(转载)mysql大数据量导入(LOAD DATA INFILE)
ganjing222的博客
01-18 2827
A) 如果是指定了local，则数据从客户端读取，文档中的说法是会在服务端的临时目录下创建一份文件的copy，但我在测试的时候并没有发现，如果file_name中是绝对路径就不用解释，如果是相对路径，则文件的位置应该是在客户端程序启动的位置，所以为了保险，一般使用绝对路径。如果指定了,那么,当前的数据跟表中的数据有惟一性冲突的时候，采用什么样的方式，是替换已有还是忽略当前。这是个非常重要的关键字，指明了文件的位置，简单的说，如果指定了local，则表示文件位于客户端，如果没有，则表示文件在Server端。
mysql本地导入数据（可导入百万条数据）
jack__love的博客
10-26 6216
mysql本地导入数据（可导入百万条数据）
MySQL中导入大批量数据：奇妙的load data infile
zhengdaqing的专栏
10-05 3039
MySQL load data infile使用经历
MySql学习 数据批量导入
weixin_44433826的博客
10-12 2819
MySql数据批量导入三种方式
Mysql批量数据导入
I Belivs I Can!
12-11 485
建库 创建数据库脚本 CREATE DATABASE bigDate; USE bigDate; 建表 1.创建emp表 CREATE TABLE `emp` ( `id` int(11) NOTNULL AUTO_INCREMENT COMMENT 'id', `empno`mediumint(9) NOT NULL DEFAULT '0' COMMENT '编号'
解决使用Navicat 打开远程连接mysql很慢的方法，很管用
热门推荐
u011228678的博客
08-03 1万+
1.状态：使用Navicat 打开远程数据库很慢。 2.解决方法：在mysql配置文件 my.cnf  内加入 skip-name-resolve   保存 重启mysql 3.原因： How MySQL uses DNS When a new thread connects to mysqld, mysqld will spawn a new thread to handle the r
MySQL导入大批Excel数据
Mr.yang
09-01 9159
我们有一个需求，把全国调研的Excel数据要导入到mysql中，总共七万条，一条数据有一百三十个字段，我写了一个程序来读取文件，报了内存溢出的错误，修改配置文件，仍然报错误，而且速度相当慢。所以这种方式以失败告终。 从网上查找了一下，尝试用Navicat自带的导入Excel方法，很快就导入完成了（也就是几分钟的事）。 下面把步骤、以及注意事项写出来。
Excel与MySQL数据导入导出详细教程
将Excel数据导入MySQL数据库可以实现数据的长期存储、高效管理以及复杂查询，而将MySQL中的数据导出到Excel则有助于数据的分享和离线分析。 ### 知识点一：Excel导入MySQL 将Excel数据导入MySQL数据库通常涉及以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值