关于百万级别数据入库的坑（sql中value和values的区别）

原创 已于 2024-06-28 13:35:35 修改 · 510 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #mysql #sql

于 2023-06-14 10:28:00 首次发布
本文讲述了在处理百万级别数据入库时遇到的问题，通过对比使用ibatis框架和原生JDBC，发现使用JDBC批量插入能显著提高效率。然而，在使用JDBC时，发现`value`和`values`在SQL语句中的使用导致了性能的巨大差异，改正后，数据入库时间从十多分钟降低到十多秒。尽管通常认为`value`比`values`快，但作者的实际经验却显示`values`在大数据量插入时表现更优。文章末尾分享了一个博主的资源，供读者参考学习如何快速插入大量数据。

        最近公司需要和第三方对接同步数据，数据有几百万条来回的传输，当上百万的数据要更新入库时，我犯了难，由于项目框架过于老旧（新的框架博主没有去了解怎么去大批量入库），使用的ibatis框架在入库上百万的数据时很久（可能是框架需要解析你的sql），时间大概在5-10分钟甚至更久，这很明显不符合我的预期，经过我多方的学习，什么分批插入，sql的批量拼接等等都没有达到我的预期，最后发现大佬们用原生的JDBC去重复的生成sql然后一次性提交，这样百万级别的数据入库也就需要十多秒，如图1

图1       

         紧接着博主立马应用到我的需求里面，经过一顿改改改，终于把使用框架插入换成使用JDBC插入，然后我信心满满的启动项目跑跑跑，然后发现不对劲，怎么比我没改之前还要慢啊十多分钟都跑不完，怎么会这么奇怪呢，立马打断点。循环生成sql这一步很快。在JDBC提交这里很慢，紧接着去看表，是不是表有问题，换表在插入还是慢，各种方向一顿排查还是没有发现问题，最后去看sql，发现插入的value和values不一样，改了再跑，快了！！！从十多分钟都跑不完变成的十多秒跑完，泪目，那么一点小问题半天没有发现（刚开始博主确实不懂MySQL中value和values的区别）。

        我解决完这个问题的时候立马百度了value和values有啥区别，发现挺多博主说value要比values要快，这就很奇怪了，我跑百万数据入库的时候values要比value快超级多，根本不是在一个量级的，百思不得其解，最后如果有小伙伴想要JDBC的代码大家可以去参考这个博主的代码：教你如何6秒钟往MySQL插入100万条数据的实现_Mysql_脚本之家

尘加熊
关注
【Java】百万级别数据的Excel如何快速导入到数据库中
alen101的博客
07-18 1452
Mybatis 原生是不支持将查询到的结果直接写人一个 HashMap 中的，需要自定义 SessionMapperSessionMapper 中指定使用 MapResultHandler 处理 SQL 查询的结果集。
【Java】百万级别数据的Excel如何快速导入到数据库中？
alen101的博客
07-11 1515
Mybatis 原生是不支持将查询到的结果直接写人一个 HashMap 中的，需要自定义 SessionMapperSessionMapper 中指定使用 MapResultHandler 处理 SQL 查询的结果集。
Mysql插入语句之value与values区别
热门推荐
予怀
09-13 8万+
value与values区别 http://dev.mysql.com/doc/refman/5.7/en/insert.html 看了一下官方文档，VALUE与VALUES都是正确的，经过验证，这两个也是可以混合着用的，只是两者对不同语句插入数量的执行效率各不相同。 VALUE插入一行 VALUES插入一行 可以看出在插入单行时，使用VALUES比较
数据库插入百万数据
成长之路
06-09 8653
这是对一次数据库作业的深究首先说一下作业题目要求：建立一张包含四个字段的表，表名为test         第一列为id，主键，自增。                第二列为col1，随机为Mike，Bob，Jack，Alice，Cathy，Ann，Betty，Cindy，Mary，Jane中的一个                第三列为col2，随机为一个5位字母，字母限
百万数据入库
weixin_30386713的博客
06-22 146
1、查看当前最大支持多少M show VARIABLES like '%max_allowed_packet%' 2、修改：set global max_allowed_packet = 20*1024*1024 这里改的是20M 3.百万数据只需设置set global max_allowed_packet = 100*1024*1024即可 转...
Java多线程百万数据快速入库
Chaoge的博客
08-24 1682
Java多线程实现百万数据快速入库
Python加载数据入库SqlServer报错问题总结（持续更新，欢迎补充）
2401_84140569的博客
05-17 1083
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Mybatis Plus快速重构真批量sql入库操作
qq_33271461的博客
09-07 1543
Mybatis Plus快速重构真批量sql入库操作
百万数据怎么入库mysql mysql百万级数据
wbryze的博客
08-21 340
最近一段时间参与的项目要操作百万级数据量的数据，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。10、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。首先，数据量大的时候，应尽量避免全表扫描，应考虑在 where 及 order by 涉及的列上建立索引，建索引可以大大加快数据的检索速度。1、应尽量避免在 where 子句中使用!
MySQL单表数据量过千万，采坑优化记录，完美解决方案
东方未明的博客
03-27 873
mysql 优化指南
SQL Server，Python，百万数据入库，常见问题
lllong33的博客
05-30 4021
一、百万数据入库测试结果 1、读取数据 追求速度问题，使用csv缓存，从csv中获取数据，速度最快 pymssql模块：使用execute, 然后fetchall()，速度在 7min 左右 pandas read_sql：速度差不多，数据量大，速度有优势 pyodbc模块、pyodbc模块待测试，速度应该会没差别 pandas模块 read_csv：直接从csv文件取相同数据，read_csv...
MySQL中value和values的区别
tcliuwenwen的博客
09-16 4295
博文背景 MySQL中有values和value两个玩意，很多博客喜欢比较它们的区别，那么它们到底有什么区别呢？ 具体操作 VALUE is a synonym for VALUES in this context. Neither implies anything about the number of values lists, nor about the number of values per list. Either may be used whether there is a single va
SqlParameter类的SQlValue与Value的区别
weixin_30410119的博客
05-09 526
SqlParameter类的SQlValue与Value的区别： msdn说：SqlVaue是Sql类型的参数值 以字符串类型来说，Sql类型有varchar,nvarchar,char等等 C#类型有string,字符数组等等 SqlValue指代Sql类型的值 Value表示C#类型的值 在存储结构上及表示范围、精度等方面有区别。 转载于:https://www.cnb...
数据库插入语句关于value和values
DR_FlySnow的博客
04-11 2242
学习数据库练习insert语句时，把insert into test values中的values意外写错成了value，但是发现执行是没有问题的，然后查了相关大佬的文档，发现这个问题已经被研究过了，其中用的都是values，自己尝试了一下把values换成value，结论是，两个都可以用，差别可以忽略不计。一些小尝试，每次都先会先清空表testt再执行插入语句。，都可以用，value通常会略微快一些，原理并不了解。，但是在插入int类型的字段时并没有报错，不排除偶然因素，但没有再做更多的数据尝试。
一行代码影响百万级数据获取入库
天翔空水木的专栏
11-30 372
背景： 从rabbitMQ 队列获取数据，每天300万数据，解析入库之后，再入Mongo 作为原始数据。 正常不会有队列堆积 问题： 一次更新代码后上线之后，队列堆积开始堆积，无法及时解析入库，而且队列不断在堆积。问同事，看了同事的代码，发现也没有加特别影响效率的代码。 但还原了了版本，再上线，发现队列解析入库立马提升了解析效率。队列开始下降。那最后还是确定是一定是加的代码有问题。 怀疑： 后来查...
MySql 快速插入百万级数据，连接数过多错误码收集
Benjamin 优快云博客
05-07 779
背景： 利用Python多线程进程Mysql数据库连接和插入数据操作测试，由于线程数过多到处数据库连接和插入数据时出现各种异常记录。 mysqlUtil.py # -*- coding: utf-8 -*- # @Software: PyCharm # @File : mysqlUtil.py # @Author : Benjamin # @Time : 2021/5/7 16:53 import threading import MySQLdb import s...
正常情况下 pycharm 的企业级开发中使用什么方法进行数据入库
最新发布
11-25
在 PyCharm 企业级开发中，数据入库的常用方法有以下几种： ### 直接使用数据库驱动 对于不同的数据库，有对应的 Python 驱动可以使用。以 MySQL 为例，使用 `pymysql` 库进行数据入库操作： ```python import pymysql # 连接数据库 conn = pymysql.connect( host='localhost', user='root', password='password', database='your_database' ) # 创建游标对象 cursor = conn.cursor() # 插入数据的 SQL 语句 sql = "INSERT INTO your_table (column1, column2) VALUES (%s, %s)" data = ('value1', 'value2') try: # 执行 SQL 语句 cursor.execute(sql, data) # 提交事务 conn.commit() print("数据插入成功") except Exception as e: # 回滚事务 conn.rollback() print(f"数据插入失败: {e}") # 关闭游标和连接 cursor.close() conn.close() ``` 这种方法适用于对数据库操作有精细控制需求的场景，需要手动管理数据库连接和事务，代码复杂度相对较高。 ### 使用 ORM（对象关系映射）框架 以 Django 框架为例，Django 自带了 ORM 功能，可以方便地进行数据入库操作： ```python # 假设已经定义了一个模型类 from your_app.models import YourModel # 创建一个新的对象 new_obj = YourModel(column1='value1', column2='value2') # 保存对象到数据库 new_obj.save() ``` 使用 ORM 框架可以将数据库表映射为 Python 类，将表中的记录映射为类的实例，操作更加面向对象，代码简洁，提高了开发效率，适合快速开发和维护大型项目。 ### 使用 ETL 工具 在处理大量数据时，可以使用 ETL（Extract, Transform, Load）工具进行数据入库。例如使用 Python 的 `pandas` 库结合 `SQLAlchemy` 进行数据处理和入库操作： ```python import pandas as pd from sqlalchemy import create_engine # 创建数据库连接引擎 engine = create_engine("postgresql://user:password@localhost:5432/your_database") # 读取数据到 DataFrame data = { 'column1': ['value1', 'value2'], 'column2': ['value3', 'value4'] } df = pd.DataFrame(data) # 将 DataFrame 数据写入数据库 df.to_sql('your_table', engine, if_exists='append', index=False) ``` ETL 工具适合处理复杂的数据转换和批量数据入库任务，能够高效地完成数据从数据源到数据库的迁移。 ### 使用存储过程 对于一些复杂的业务逻辑，可以使用数据库的存储过程来实现数据入库。在 Python 中调用存储过程： ```python import pymysql # 连接数据库 conn = pymysql.connect( host='localhost', user='root', password='password', database='your_database' ) # 创建游标对象 cursor = conn.cursor() # 调用存储过程 try: cursor.callproc('your_stored_procedure', ('param1', 'param2')) # 提交事务 conn.commit() print("存储过程调用成功") except Exception as e: # 回滚事务 conn.rollback() print(f"存储过程调用失败: {e}") # 关闭游标和连接 cursor.close() conn.close() ``` 存储过程可以将复杂的业务逻辑封装在数据库端，提高数据库的处理性能和安全性，适合处理复杂的业务规则和数据验证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值