MYSQL中insert...select优化?

最新推荐文章于 2022-10-13 10:18:26 发布
最新推荐文章于 2022-10-13 10:18:26 发布
阅读量1.7k 收藏
点赞数
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zyu67/article/details/46669915
版权
针对大量数据（约1000万条记录）使用MyISAM表结构进行日报、周报及月报统计时效率低下（约2小时）。寻求优化方案以缩短处理时间至1小时以内。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

以前是弄 Oracle的，但是公司现在用的数据库是 MYSQL,我们需要统计天报表，周报表和月报表，都应用了分表操作，但是在汇总的时候还是很忙，我们用的表结构是MyISAM,这个表结构是不能改变了。
数据量都是比较的大，大概在1000万左右，我们用的语句很多都是insert...select，也就是汇总后插入到临时表，然后在统计，这样下来，效率很慢，跑一个大概在2个小时左右，不知道有没有好的办法优化一下，最好能一个小时搞定

有没有好的思路提供一下，谢谢




也就是，你先把每天写入的数据，先进行汇总，以便用于再统计

比如有三条数据

username  num  createdate

a                1      2011-2-10 10:00:01
a                6      2011-2-10 11:00:01  
a                7      2011-2-10 17:00:01

你先汇总成一条数据

a                14      2011-2-10

若再做周报表的时候，就在日汇总的基础之上，搞月统计就在日统计 或者在周统计的基础之上（有些时候，把月划分为4周的模式，才可用），季度统计就在月统计的基础上再做

这样的统计思路都是最常用的，需要你根据数据项做一些统计汇总（或称中间表）

以前是弄 Oracle的，但是公司现在用的数据库是 MYSQL,我们需要统计天报表，周报表和月报表，都应用了分表操作，但是在汇总的时候还是很忙，我们用的表结构是MyISAM,这个表结构是不能改变了。
数据量都是比较的大，大概在1000万左右，我们用的语句很多都是insert...select，也就是汇总后插入到临时表，然后在统计，这样下来，效率很慢，跑一个大概在2个小时左右，不知道有没有好的办法优化一下，最好能一个小时搞定
有没有好的思路提供一下，谢谢
mysql中insert与select的嵌套使用方法
12-15
在MySQL数据库中，`INSERT` 与 `SELECT` 的嵌套使用是一种强大的功能，它允许我们在一条SQL语句中从一个或多个数据源提取数据并将其插入到目标表中。这种技术尤其适用于需要合并不同表的数据或者创建数据备份的情况...
insert into 和select * into的性能比较
雨伞 优快云专栏
04-24 3048
有朋友说两者之间存在很大的性能差异，是由于数据库的日志模式不一样，simple和完整的会导致差异。simple的select * into 不记日志。我自己也就来做了个测试。8万数据量，采用insert into 需要3秒左右，select * into 300毫秒。差十倍。但是横向测试simple和完整模式，对比没有什么两样。另外测试中，插入后又回滚事务，结果没有出现不回滚的情况。分析：其实就两
mysql insert into select 性能_mssql insert into 和insert into select性能比较
weixin_35572715的博客
02-03 1782
使用insert into table(field, …)values(value, …),insert into table(field, …)values(value, …)…的情况使用insert into table(field, …)select(value，…) union all select(value，…) union all select(value，…) …的情况我一次插入的...
MySQL 三 管理
W_H_M_2018的博客
10-26 469
Table of Contents MySQL管理 启动及关闭 MySQL 服务器 Windows 系统下 Linux 系统下 MySQL 用户设置 /etc/my.cnf 文件配置 管理MySQL的命令 MySQL管理 启动及关闭 MySQL 服务器 Windows 系统下 在 Windows 系统下，打开命令窗口(cmd)，进入 MySQL 安装目录的 bin 目录。 启动： cd c:/mysql/bin mysqld --console 关闭： cd c:/my..
【MySQL】MySQL Insert into select 大量锁表导致无法插入
qq_37191371的博客
11-23 2182
背景 最近发现项目中有个表，越来越大 ，竟然快50G，不由得一身冷汗，看了一下代码，之前有清理策略，由于应用主节点的选举有bug，导致应用目前没有主节点，故这个表没有清理，这个表每天要新增两万左右的数据，而且有一些大字段，所以表占用的磁盘空间比较大，目前运维小哥哥给的解决方案是建个表结构相同的表a，将该表中的七天内的数据插入到表a中（Insert into a select * from 原始表 where createtime < 7天内的数据），将原始表改名为b,将a表rename为原始表...
mysql insert into select from 大量数据_数据库相关知识
weixin_39980234的博客
12-03 1589
数据库软件有很多很多，主要有:关系型数据库：MySQL、oracle、db2、access、sql server非关系型数据库：redis、mongodb、memcache关系型：数据之间彼此有关系或者约束（男生表和前女友表）存储数据的表现形式通常是以表格存储非关系型：存储数据通常都以k，v键值对的形式关系型数据库主要帮我们存储数据，是真正存储数据的，非关系型数据库主要是帮我们做一个缓存，减轻我们...
Mysql中mysql.user用户表详解
09-09
除了用户连接信息，`mysql.user`表还包含了一系列权限字段，如`Select_priv`, `Insert_priv`, `Delete_priv`, `Update_priv`, `Create_priv`, `Drop_priv`等。这些字段都是枚举类型，值为`Y`或`N`，分别代表用户是否...
解析MySQL中INSERT INTO SELECT的使用
09-10
MySQL中的`INSERT INTO SELECT`语句是一种非常实用的数据库操作，它允许你从一个或多个数据源中选择数据，并将其插入到另一个表中。这种操作在数据迁移、数据整合或者生成汇总报告时非常常见。下面将详细介绍`INSERT...
Unity链接MySQl所用到的MySql.Data.dll插件
09-11
8. 性能优化：在实际项目中，考虑使用连接池以提高性能和减少资源消耗。可以通过设置`pooling=true`在连接字符串中启用连接池。 通过以上步骤，你可以在Unity中成功使用`MySql.Data.dll`插件与MySQL数据库进行交互...
mysql.data.dll +教程
07-05
MySQL.data.dll是MySQL数据库连接Unity游戏引擎的一个关键组件，它是一个动态链接库（DLL）文件，主要用于在Unity项目中实现与MySQL服务器的数据交互。DLL文件是Windows操作系统中的一个程序库，包含了可被多个应用...
insert into select 优化_mysql大量数据分页优化
weixin_39953102的博客
11-28 995
一般我们数据量大的时候，然后就需要进行分页，一般分页语句就是limit offset，rows。这种分页数据量小的时候是没啥影响的，一旦数据量越来越大随着offset的变大，性能就会越来越差。下面我们就来实验下：准备数据建一个测试表引擎为MyISAM(插入数据没有事务提交，插入速度快)的表。CREATE TABLE USER (id INT ( 20 ) NOT NULL a...
Mysql insert select批量插入
沉默的鲨鱼的专栏
04-14 2844
添加测试数据时，往数据库批量插入数据 insert  tablename(filed1, filed2, filed3, filed4.....) select filed1, filed2, field3, filed4.. from tablename;即可每次倍增数据库原有的数据
百万级数据插入方法效率对比
prospertu的专栏
03-23 6691
第1种：insert into效率比较慢，但是insert into select会优于其他的先select后插入的 第2种 表值参数批量插入，这个是针对SQL2008以上版本的，速度更快些 使用事务和SqlBulkCopy批量插入数据 SqlBulkCopy是.NET Framework 2.0新增的类，位于命名空间System.Data.SqlClient下，主要提供把其他数据源的...
MySQL 如何提高innodb insert into select的插入速度
0808xyj的专栏
10-23 8017
Java  web 复制 上一年份的数据的功能，insert into select ... from ，结果 一个 仅有二十多条记录 的 备份，MySQL 执行 竟花费 将近 一分钟 时间 而 同样的SQL 在 Oarcle 下 执行 执行 几毫秒时间，我很是好奇 为何 在 两个不不同的数据库下，MySQL 居然 有这样的效率？ 细细探究之 难道 是  UUID() 函数的使用？额外
MySQL 几种插入方式以及插入100万条数据效率测试
weixin_44009147的博客
12-21 8889
作为一个Java后台，MySQL的使用是家常便饭，虽然平常不会遇到几十万甚至几百万的数据插入情况，但是耐不住我的好奇心，今天写几个方法用来测试一下 我们使用控制变量来对比出来最适合数据批量插入的条件 罗列一下条件（电脑硬件这种暂时改变不了）： 插入方法（循环插入、forEach插入、批处理） 数据库存储引擎（MyISAM、InnoDB） 先把测试结果放在这(单位：毫秒) 10条 100条 1000条 10000条 1000000条 MyISAM（循环插入） 24 297 1331 13
mysql千万级数据查询select、插入insert慢 可能原因总结
Murinedj的博客
09-09 5864
最大数据量设置10241024;– 设置超时时间10241024*1024;– 查询buffer类全局字段设置10246000;10241000;– 查询所有参数设置– 关闭唯一性检查– 禁用外键检查语句为：– 禁止自动提交语句为：#禁止时时同步日志到磁盘# 配置max_allowed_packet为1G– mysql日志大小。
insert into select 优化_SQL查询效率优化原则
weixin_39861823的博客
11-30 2681
1、对查询进行优化,应尽可能避免全表扫描首先应考虑在 where 及 order by 涉及的列上建立索引。下面我们来以一个表中177条数据比较一下,全表扫描与建立索引之后性能的一个比较.1.1 全表查询1.2 建立索引查询1.3 结论从这两种方式查询数据库结果看,建立索引之后查询速度提高了些,现在数据量还不明显,如果表中有10万条速度,差异就会很明显了.2、写数据语句时尽可能减少表的全局扫描2....
MySQL查询优化
daxingsuo3996的博客
07-15 139
MySQL查询优化 Mysql存储引擎 最常使用的2种存储引擎: Myisam是Mysql的默认存储引擎，当create创建新表时，未指定新表的存储引擎时，默认使用Myisam。 每个MyISAM在磁盘上存储成三个文件。文件名都和表名相同，扩展名分别是.frm（存储表定义）、.MYD (MYData，存储数据)、.MYI (MYIndex，存储索引)。数据文件和索引文件可以放...
ORACLE 19C 数据库多行插入语句效率对比 INSERT ALL 与 INSERT SELECT UNION ALL
qq_39581137的博客
10-13 3190
在ORACLE下面需要语句SQL插入多行时，优先选择SELECT UNION ALL 写法，耗时，长度都有不小的优势。本次测试结果仅供参考，欢迎各位讨论，提出自己的看法。
MySql.Data.MySqlClient附加代码使用指南
通过该类的实例可以执行SQL语句，包括查询（SELECT）、插入（INSERT）、更新（UPDATE）和删除（DELETE）等操作。 4. **MySqlDataReader类**: 当执行查询操作时，这个类用于读取数据结果集。它提供了一种向前游标的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值