如何往数据库快速插入百万条数据

最新推荐文章于 2025-03-21 10:26:31 发布
最新推荐文章于 2025-03-21 10:26:31 发布
阅读量5.8k 收藏 9
点赞数 3
分类专栏： 数据库 文章标签： 百万数据插入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z_ipython/article/details/96573818
版权
本文介绍如何通过创建内存表来快速生成并导入大量数据到MySQL数据库中，包括配置调整、SQL语句及函数创建步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

具体逻辑实现：
创建两个表，一个内存表，一个数据表
然后将百万数据先存入内存表，再在内存表数据导入数据表
数据库默认好像只能存13万条数据，更改ini配置
max_heap_table_size = 1024M
前提：关闭mysql服务，在操作，重启
在这里插入图片描述

具体SQL语句：

# 创建内存表
CREATE TABLE `vote_record_memory` (  

    `id` INT (11) NOT NULL AUTO_INCREMENT,  

    `user_id` VARCHAR (20) NOT NULL,  

    `vote_id` INT (11) NOT NULL,  

    `group_id` INT (11) NOT NULL,  

    `create_time` datetime NOT NULL,  

    PRIMARY KEY (`id
最低0.47元/天 解锁文章
数据库如何快速插入百万条数据
BeefpasteC的博客
07-18 1万+
数据库如何快速插入百万条数据 ①在内存中创建一个表 CREATE TABLE `vote_record_memory` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT (11) NOT NULL, `group_id` IN...
Excel导入数据库百万级数据瞬间插入
bahongying2053的博客
05-30 2895
前言 之前公司有个需求,导入几十万的数据,需要从excel读取出来,再把重复的项合并起来导入数据库,当时用程序写的非常慢,光读取数据半小时都下不来,感觉自己写的程序太渣了. 思路 1.将Excel文件转换成.csv文件 　2.读取.csv文件到DataTable里 (这个读取速度非常快) 3.补充数据表的列名,修改数据类型 　4.使用SqlBulkCop...
MySQL优化之海量数据批量插入
念牧童的专栏
04-14 1770
多线程插入(单表) 多线程插入(多表) 预处理SQL 多值插入SQL 事务(N条提交一次) 多线程插入(单表) 问：为何对同一个表的插入多线程会比单线程快？同一时间对一个表的写操作不应该是独占的吗？ 答：在数据里做插入操作的时候，整体时间的分配是这样的： 链接耗时 （30%） 发送query到服务器 （20%） 解析query （20%） 插入操作 （10% * 词条数目） 插入index ...
mysql-大批量插入数据的三种方式和使用场景
最新发布
以爱护甲,爱满枫林。
03-21 1305
用途：如果数据已经在服务器上作为一个文件存在，或者可以通过网络传输到服务器上，那么使用LOAD DATA INFILE通常是最快的方法之一。是 LOAD DATA INFILE 命令中的一个选项，用于指示 MySQL 在导入数据时跳过文件的前几行。如果 CSV 文件中的列顺序与目标表不匹配，或者你想只导入部分列，可以指定列名(column1, column2, column3);相比其他方法，LOAD DATA INFILE通常要快得多，因为它直接读取文件内容并加载到表中，绕过了标准的SQL解析器。
快速插入100w条数据
Q了个大冰的博客
04-24 4065
官网今天打算学习一下百万级数据的查询,但是心想上哪找百万的数据呢,索性脚本填吧!第一反应是用while or  for ,尝试了一下,太慢了(老长时间了),时间就是金钱啊,然后就找了到了这个办法LOAD DATA LOCAL INFILE A INTO TABLE BA 文件名 B 数据库字段名字然后就开始往A里面写文件了,写文件花了5s,代码如下$t=time(); set_time_limit...
10w+ Excel 数据导入，怎么优化？
勇往直前的专栏
07-04 625
声明：本文首发于博客园，作者：后青春期的Keats 地址：https://www.cnblogs.com/keatsCoder/ 需求说明 项目中有一个 Excel 导入的需求：缴费记录导入。 由实施 / 用户 将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。 在我接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插.
教你如何6秒钟往MySQL插入100万条数据的实现
12-14
一、思路 往MySQL中插入1000000条数据只花了6秒钟！ 关键点： 1.使用PreparedStatement对象 2.rewriteBatchedStatements=true 开启批量插入，插入只执行一次，所有插入比较快。 二、 代码 package test0823.demo1; import java.sql.*; /** * @author : Bei-Zhen * @date : 2020-08-24 0:43 */ public class JDBC2 { //static int count = 0; public static void m
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
本文将详细讲解如何使用JDBC批量插入10万条数据，并探讨其背后的原理和优化策略。 批量处理在JDBC中主要通过Statement对象的`addBatch()`和`executeBatch()`两个方法实现。在示例代码中，我们创建了一个`...
3分钟如何向MySQL数据库中插入100万条数据
12-14
本文以"3分钟如何向MySQL数据库中插入100万条数据"为主题，探讨如何快速地批量插入大量数据。 首先，我们需要创建一个测试数据表。在MySQL中，创建表的SQL语句如下： ```sql use db_xk; drop table if exists tb_...
如何快速往表里插入大量的数据行
shengshiqing的专栏
03-06 4138
数据转储过程中往往涉及到数据的插入和删除。在数据量特别大的时候往往会消耗较长时间。 不卖关子，直接介绍一个我目前知道最有效的插入例子。 declare type fid is table of dpcrm.t_cust_returnvisit.fid%type; fids fid; begin      select fid bulk collect into fids from dp
100万条数据导入SQL数据库仅用4秒
01-23
100万条数据导入SQL数据库仅用4秒，100万条数据导入SQL数据库仅用4秒
百万级数据在Excel和Sql数据库之间相互导入、导出
08-02
百万级数据在Excel和SqlServer之间相互导入导出。
300万数据导入导出优化方案，从80s优化到8s（实测）
程序员小明1024
09-28 3295
前景在项目开发中往往需要使用到数据的导入和导出，导入就是从Excel中导入到DB中,而导出就是从DB中查询数据然后使用POI写到Excel上。写本文的背景是因为在工作中遇到了大数据的导入和导出，问题既然来了逃跑不如干掉它！！！只要这一次解决了，后期遇到同样的问题就好解决了。废话不多说，开始撸起来！！！1 传统POI的...
Java实现百万级数据从Excel导入到数据库
小徐的博客
01-21 5999
在一个后台管理功能中，Excel导入数据是不可缺少，但是当处理大数据量的Excel文件导入时候就可能会带来一些列的问题，本文我们会分析问题产生的原因。并提供解决方案以及完整的实现代码。
厉害了！12秒将百万数据通过EasyExcel导入MySQL数据库中
JavaBuild的博客
05-12 2967
OK！以上就是SpringBoot项目下，通过阿里开源的EasyExcel技术进行百万级数据的导入功能的优化步骤啦，由原来的500秒优化到20秒！
百万数据量快速导入、导出MySQL
通往IT大道的专栏
11-29 548
先在MySQL中建立临时表无索引,批量导入数据到临时表,最后再用 insert into...select 从临时表导入到正式表。第三方工具如 mysqldump、mydumper、MyData 等,这些工具提供了多线程导入、断点续传等高级功能。增大 bulk_insert_buffer_size、max_allowed_packet 等,以优化导入性能。如果是自主开发的系统,建议在应用层对数据进行分批插入,可以充分利用多线程,实现更高的导入效率。检查磁盘I/O、CPU等系统资源是否够用,是否有瓶颈。
利用官方工具将百万级cvs数据文件导入oracle数据库（Windows系统）
本大爷的笔记们
12-05 3648
利用官方工具将百万级cvs数据文件导入oracle数据库（Windows系统）
实现百万级数据从Excel导入到数据库的方式
竹林幽深
04-09 1436
原创 派大星辽宁身处外企，是一名技术工作者。作为InfoQ、阿里云等技术平台签约作者，致力于打造您专属的编程个人笔记（无广告）。216篇原创内容公众号。
PG数据库插入百万条数据
12-31
### PostgreSQL 批量插入百万条数据的最佳实践 #### 使用 `COPY` 命令 对于大规模的数据导入，最有效的方法之一是使用 `COPY` 命令。该命令能够显著提高性能，因为它绕过了客户端/服务器协议栈并直接写入文件系统。 ```sql \COPY table_name FROM '/path/to/file.csv' WITH CSV HEADER; ``` 这种方法适用于从CSV或其他分隔符文本文件加载大批量记录[^1]。 #### 准备临时表 创建一个与目标表具有相同结构的临时表可以减少锁竞争，并允许预处理数据后再一次性迁移至最终位置。 ```sql CREATE TEMP TABLE temp_table AS SELECT * FROM target_table LIMIT 0; -- 插入大量数据到temp_table... INSERT INTO target_table SELECT * FROM temp_table ON CONFLICT DO NOTHING; ``` 此策略有助于管理事务大小以及简化错误恢复过程[^3]。 #### 调整配置参数 为了优化批量插入操作期间的表现，建议调整某些PostgreSQL配置项： - **max_wal_size**: 控制WAL日志的最大尺寸，默认设置可能不足以应对大容量写入场景。 - **checkpoint_completion_target**: 设置较高的值(接近1)，使得检查点完成更加平滑分布。 - **effective_io_concurrency**: 对SSD存储环境适当增大这个数值可提升并发I/O效率。 这些改动需谨慎评估生产环境中其他工作负载的影响[^2]。 #### 利用多线程或多进程 如果硬件资源充足，则可以通过编程手段实现多个连接同时执行插入语句来加速整个流程。Python中的`concurrent.futures`模块就是一个很好的工具用于构建这样的应用程序逻辑。 ```python import concurrent.futures from psycopg2 import connect, sql def bulk_insert(conn_string, data_chunk): conn = None try: conn = connect(conn_string) with conn.cursor() as cur: insert_query = "INSERT INTO mytable (col1,col2) VALUES (%s,%s)" execute_values(cur, insert_query, data_chunk) conn.commit() finally: if conn is not None: conn.close() with concurrent.futures.ThreadPoolExecutor(max_workers=8) as executor: futures = [] for chunk in chunks(data_list, size=10_000): # 将大数据集分割成较小的部分 future = executor.submit(bulk_insert, db_conn_str, chunk) futures.append(future) for f in concurrent.futures.as_completed(futures): result = f.result() ``` 上述代码片段展示了如何利用Python库psycopg2配合threading pool来进行高效的批量化插入任务.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孜孜孜孜不倦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值