MySQL数据单个数据太大，导入不进去

最新推荐文章于 2021-05-05 10:31:31 发布
最新推荐文章于 2021-05-05 10:31:31 发布
阅读量295 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库
原文链接：https://my.oschina.net/zhu97/blog/734285
本文介绍了当使用MySQL导入大量数据时遇到的问题及解决方案，特别是针对单个数据文件过大导致无法导入的情况。通过调整MySQL配置参数max_allowed_packet的大小，可以有效地解决此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么80%的码农都做不了架构师？>>>   hot3.png

MySQL数据单个数据太大，导入不进去

mysql导入数据，navicat报错：

1

2

3

4

5

MySQL server has gone away

Table Restored: act_ge_bytearray

Rolling back...

Finished - Stopped before completion

--------------------------------------

 

问题原因：导入的数据超过了mysql默认单个字段最大容量

 

#查看数据库中最大的单个文件容量

SHOW VARIABLES LIKE '%max_allowed_packet%'; 

 

#设置最大单个文件容量为10M，单次有效

SET GLOBAL max_allowed_packet=20*1024*1024 

   作者：imsoft       出处：http://www.cnblogs.com/imsoft/ 
   欢迎来信：   mailto:imsofter@163.com 
   本文版权归作者imsoft和博客园共有，欢迎转载，请保留原文链接， 
   本博客来源于互联网的资源，若侵犯到您的权利，请联系博主予以删除。

转载于:https://my.oschina.net/zhu97/blog/734285

MySQL导入数据量大速度慢问题解决
DN金猿的博客
06-27 1502
然后再执行导入，这样速度会进一步加快。如果innodb_flush_log_at_trx_commit设置为0，log buffer将每秒一次地写入log file中，并且log file的flush(刷到磁盘)操作同时进行。如果innodb_flush_log_at_trx_commit设置为1，每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去.这样做会加快导入速度，但需要注意，导入过程中没有索引和约束可能会导致数据完整性问题，请谨慎使用。
Pandas数据导入和导出：CSV、Excel、MySQL、JSON
小龙在线
10-26 1160
【代码】Pandas数据导入和导出：CSV、Excel、MySQL SQL。
mysql插入数据过多导致失败的问题解决
Arese的博客
12-04 1593
1，查看mysql max_allowed_packet的值：SHOW VARIABLES LIKE '%max_allowed_packet%'，结果为1048576，即1MB； 2，永久修改该值：windows下在mysql.ini配置文件的[mysqld]后边新增一行：max_allowed_packet = 256M，重启mysql服务即可。 3，临时修改该值：命令行下执行：set ...
使用MySQL存储较长文本的时候突然间无法存储
dada__dad的博客
04-19 2078
Mysql varchar字段存储长文本报错 使用MySQL存储较长文本的时候突然间无法存储 varchar存储长文本长度不够 事情原因，最近在练习一套基本的增删改查，但是有一个字段需要插入较多的内容，数据库里我这个字段的类型的varchar（255）。 报错信息 ：ERROR 1406 (22001): Data too long for column ‘desc’ at row 1，一眼看出表字段设置的长度不够。 VARCHAR存储，全部为常用汉字（UTF-8 3字节编码长度），则VARCHAR
修改mysql导入sql大小限制_修改phpMyAdmin导入SQL文件的大小限制
weixin_28882363的博客
01-27 205
用phpMyAdmin导入mysql数据库时，我的19M的数据库不能导入，提示mysql数据库最大只能导入2M。phpMyAdmin数据库导入出错：You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.可以修改导入数据库文件最大限制吗?...
《工作流》activiti之表的定义
kaige8312的博客
11-28 518
ACT_RE_* ’RE’表示repository（存储）。RepositoryService接口操作的表。带此前缀的表包含的是静态信息，如，流程定义，流程的资源（图片，规则等）。 ACT_RU_* ’RU’表示runtime。这是运行时的表存储着流程变量，用户任务，变量，职责（job）等运行时的数据。flowable只存储实例执行期间的运行时数据，当流程实例结束时，将删除这些记录。这就保证...
Activiti数据库表结构(表详细版)
09-07 1840
http://blog.youkuaiyun.com/hj7jay/article/details/51302829 1Activiti数据库表结构 1.1 数据库表名说明 Activiti工作流总共包含23张数据表，所有的表名默认以“ACT_”开头。 并且表名的第二部分用两个字母表明表的用例，而这个用例也基本上跟Service API匹配。 uACT_GE_*...
3步搞定纯真IP数据导入到MySQL的方法详解
09-11
通过上述三步操作，我们成功地将纯真IP数据导入到了MySQL数据库中，无需编写任何编程代码，极大地简化了数据处理过程。这种方法不仅适用于IP地址查询的应用场景，也可以扩展到其他类似的数据导入需求中。希望本文能...
Spring boot开发从Excel表格导入大数据量（十万级/百万级）数据到数据库（MySQL）的工具
依然神话的博客
11-12 5471
首先创建一个项目，我这里项目名称为：utils-self 。可使用Spring Assistant 创建，如下图，选择 web、jdbc、mysql三个模块的依赖，点击next。 设置配置文件 application.properties，如下： server.port=8076 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/li...
解决mysql导数据时，格式不对、导入慢、丢数据的问题
黄饱饱
06-22 1万+
问题一：格式不对（常出现时间格式不对的情况）；方法1：将excel文件另存为csv，再导入数据库；方法2：导入的第一步时，默认编码方式是65001（UTF-8），可以尝试选择【10008 (MAC - Simplified Chinese GB 2312)】，或者【Current Windows Codepage】，这是常见的三种编码，多试几次，总能找到匹配你的电脑的编码格式。方法3：在导入的最后...
MySql导入包含LONGTEXT类型的psc备份文件报错MySQL server has gone away错误
韩超的博客 (hanchao5272)
06-01 1195
报错信息 备份文件：180525181020.psc，大小：262 MB，报错信息： [Msg] Table Restored: table_111111 [Msg] Table Restored: table_222222 [Msg] Table Restored: table_333333 [Msg] 2006 - MySQL server has gone away [Msg] Tabl...
在数据库中进行表的恢复
GRANDTREE的专栏
07-01 1160
Table restore and filegroups The story usually goes something like:Q - How can I restore only this table?A - Put it on its own filegroup and you can do filegroup level backup and restore.T
解决Navicat还原出现Finished - Stopped before completion的问题
~悟空的定海神针~
05-07 2688
[Msg] Finished - Stopped before completion 找到MySQL安装文件夹的my.ini 在[mysqld]下面添加，设置容量， max_allowed_packet=500M 最后，重新启动MySQL服务
解决Navicat还原出现Finished - Stopped before completion的问题？
J_Tik
03-12 1万+
问题原因：导入的数据超过了mysql默认单个字段最大容量查看数据库中最大的单个文件容量SHOW VARIABLES LIKE '%max_allowed_packet%';设置最大单个文件容量为10M，单次有效（新建查询---运行）SET GLOBAL max_allowed_packet=20*1024*1024;重新还原备份 ...
错误分析及解决办法---MySQL server has gone away
weixin_30587025的博客
05-26 1194
应用程序（比如PHP）长时间的执行批量的MYSQL语句。执行一个SQL，但SQL语句过大或者语句中含有BLOB或者longblob字段。比如，图片数据的处理。都容易引起MySQL server has gone away。今天遇到类似的情景，MySQL只是冷冷的说：MySQL server has gone away。大概浏览了一下，主要可能是因为以下几种原因：一种可能是发送的SQ...
backup table 和restore table 的用法
weixin_33739541的博客
05-25 710
http://showmealone.blog.sohu.com/108113566.html 转载于:https://blog.51cto.com/wlq1203/878002
mysql数据库数据（字段数过大）太多导入不了的解决方法
weixin_33888907的博客
09-03 4335
mysql数据库数据（字段数过大）太多导入不了的决方法: 1、打开navicat 工具 2、在数据库上右键，执行右键菜单命令“命令列界面” 3、在打开的窗口中，运行set global max_allowed_packet = 524288000; 4、再导入就可以了 转载于:https://www.cnblogs.com/dayspring/p/9577332.html...
部署web项目时，在服务器上执行MYSQL语句，导入不成功 [Msg] Finished - Unsuccessfully
热门推荐
tianluke1234的博客
12-20 3万+
今天正好公司项目不怎么忙，抽出时间，把以前在一次部署项目的经历和大家分享下：     之前，公司领导安排在公司上海的服务器上部署一个小贷web项目，准备第二天给客户演示。本以为是个很简单的事情，然后就准备快下班的时候才开始。把tomcat里的项目复制到服务器后，把本地的数据库导出，在服务器原有的数据库工具上导入(**.sql)文件，报了本多语法错误。然后我就寻找解决方案：     第一种：我想
Navicat 导入本地sql文件报错“[Msg] Finished - Unsuccessfully | [Err] 1046 - No database selected”
努力学习编程中
05-05 1万+
错误界面： 原因： 未创建同名、同字符集的数据库，直接在mysql上右键【运行sql文件】 解决： 1、在mysql下创建一个同名、同字符集的数据库 2、在新创建的数据库下右键【运行sql文件】 3、取消勾选第二条 4、点击【开始】即可成功导入sql文件 ...
如何将mysql的数据库和表数据都导入出去，dbeaver
最新发布
03-19
<think>嗯，用户现在问的是如何用DBeaver把MySQL的数据库和表数据都导出去。首先，我需要确认用户的需求。他们可能想要备份数据，迁移到另一个环境，或者分享数据给同事。使用DBeaver的话，导出数据主要有两种方式：通过导出向导生成SQL脚本或者导出为数据文件，比如CSV、Excel等。 首先，用户可能对DBeaver的界面不太熟悉，所以需要详细说明操作步骤。比如，连接到正确的数据库，找到需要导出的表或者整个数据库。然后，右键菜单中的导出选项在哪里，可能会有不同的导出格式选项，这时候需要解释每种格式的适用场景，比如SQL适合结构和数据一起迁移，CSV适合数据分析。 接下来，用户可能遇到的问题可能包括导出时的权限问题，或者导出过程中出现的数据截断。这时候需要提醒他们检查数据库连接权限，确保有导出数据的权限。另外，导出大量数据时可能会遇到内存不足的情况，这时候分批次导出或者调整DBeaver的内存设置可能会有帮助。 还有，用户可能会混淆导出整个数据库和单个表的步骤。需要明确说明，导出整个数据库可能需要逐个导出表，或者使用数据库备份工具如mysqldump，但DBeaver本身可能不支持一键导出整个数据库。这时候可以建议结合命令行工具，或者在DBeaver中生成整个数据库的SQL脚本。 另外，用户可能没有注意导出时的选项设置，比如是否包含DROP语句，字符编码是否正确，这些都会影响导入时的结果。需要提醒他们在导出时仔细检查这些选项，避免后续导入出错。 最后，用户可能需要验证导出的数据是否正确，可以建议他们导入到一个测试环境中进行检查。如果遇到问题，提供查看日志的方法，或者建议使用DBeaver的社区支持或官方文档进一步排查。</think>通过 DBeaver 导出 MySQL 数据库及表数据的完整流程如下： --- ### 一、导出数据库结构（Schema） 1. **右键数据库** - 在 DBeaver 连接树中：右键目标数据库 → **工具** → **备份数据库** 2. **生成 SQL 脚本** ```sql -- 示例生成的 DDL 语句 CREATE DATABASE `your_database`; USE `your_database`; CREATE TABLE `users` ( `id` INT PRIMARY KEY, `name` VARCHAR(50) ); ``` --- ### 二、导出表数据 #### 方法 1：SQL 文件导出（推荐完整备份） 1. **选择导出对象** - 右键表 → **导出数据** → **SQL 脚本** 2. **关键配置项：** - 输出文件：`/path/to/dump.sql` - 勾选 **Include DROP statements**（覆盖已有数据） - 勾选 **Include schema**（包含表结构） - 字符集选择 `UTF-8` #### 方法 2：CSV/Excel 导出（适合数据分析） 1. **执行数据查询** - 在 SQL 编辑器输入：`SELECT * FROM your_table` - 右键结果网格 → **导出结果集** 2. **格式选择：** ```bash CSV # 通用数据交换 XLSX # Excel 编辑 JSON # 接口传输 ``` --- ### 三、批量导出整个数据库 1. **命令行辅助（DBeaver 内置终端）** - 按 `Ctrl+`` 打开终端，执行： ```bash mysqldump -u root -p --databases your_db > full_backup.sql ``` 2. **导出进度监控** - 通过 DBeaver 的 **任务进度** 面板查看实时状态 --- ### 四、验证导出结果 1. **完整性检查** ```sql -- 检查目标 SQL 文件行数 wc -l full_backup.sql -- 核对表数量 grep "CREATE TABLE" full_backup.sql | wc -l ``` 2. **快速验证导入** ```sql mysql -u root -p test_db < full_backup.sql ``` --- ### 常见问题排查 | 现象 | 解决方案 | |------|----------| | 中文乱码 | 导出时设置字符集为 `UTF8MB4` | | 大文件导出失败 | 调整 DBeaver 内存：`dbeaver.ini` 中修改 `-Xmx4096m` | | 存储过程丢失 | 导出时勾选 **Include routines** | --- **建议操作顺序：** 1. 通过 `mysqldump` 导出完整备份 2. 用 DBeaver 导出关键表为 CSV 做二次验证 3. 在测试环境执行导入演练 如果遇到权限问题，请执行： ```sql GRANT LOCK TABLES, SELECT ON your_db.* TO 'your_user'@'localhost'; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值