太神奇的 SQL 查询经历,group by 慢查询优化!

记一次神奇的SQL查询经历,group by、order by慢查询优化 mysql的默认存储引擎是innodb,我们创建了innodb后,可以进入到mysql的数据目录下,可以发现,每个聚簇索引的表,都包含两个文件,其中一个表的定义文件,一个是.ibd的文件,这个文件实际上存储的数据就是一个表的索引和数据了,而聚簇索引的意思就是索引和数据放在同一个文件的,就叫做聚簇索引,比如innodb存储引擎的主键索引,就是聚簇索引,也是一棵B+tree结构。myisam存储引擎创建的表,我们去到数据目录下,会发现有三个文件,其中一个是表的定义文件,一个是数据文件,还有一个是索引文件。 阅读详情

来源:https://www.cnblogs.com/dijia478/p/11550902.html

一、问题背景
现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:
在这里插入图片描述
我在测试环境构造了500万条数据,模拟了这个慢查询。
简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。
说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都会有1000个是重复的值,种类共有5000个。

二、看执行计划
在这里插入图片描述

可以看到,group by字段上我是加了索引的,也用到了。

三、优化
说实话,我是不知道该怎么优化的,这玩意还能怎么优化啊!先说下,下面的思路都是没用的。

思路一:

后面应该加上 order by null;避免无用排序,但其实对结果耗时影响不大,还是很慢。

在这里插入图片描述
思路二:

where条件太复杂,没索引,导致查询慢,但我给where条件的所有字段加上了组合索引,也还是没用
在这里插入图片描述
在这里插入图片描述
思路三:

既然group by慢,换distinct试试??(这里就是本篇博客里说的神奇的地方了)
在这里插入图片描述
卧槽???!!!这是什么情况,瞬间这么快了??!!!
虽然知道group by和distinct有很小的性能差距,但是真没想到,差距居然这么大!!!大发现啊!

四、你以为这就结束了吗
我是真的希望就这么结束了,那这个问题就很简单的解决了,顺便还自以为是的发现了一个新知识。
但是!
这个bug转给测试后,测试一测,居然还是30多秒!?这是什么情况!!???
我当然是不信了,去测试电脑上执行sql,还真是30多秒。。。
我又回我的电脑上,连接同一个数据库,一执行sql,0.8秒!?
什么情况,同一个库,同一个sql,怎么在两台电脑执行的差距这么大!
后来直接在服务器上执行:
在这里插入图片描述
醉了,居然还是30多秒。。。。
那看来就是我电脑的问题了。
后来我用多个同事的电脑实验,最后得出的结论是:
是因为我用的SQLyog!
哎,现在发现了,只有用sqlyog执行这个“优化后”的sql会是0.8秒,在navcat和服务器上直接执行,都是30多秒。
那就是sqlyog的问题了,现在也不清楚sqlyog是不是做什么优化了,这个慢查询的问题还在解决中(我觉得问题可能是出在mysql自身的参数上吧)。
这里只是记录下这个坑,sqlyog执行sql速度,和服务器执行sql速度,在有的sql中差异巨大,并不可靠。

五、后续(还未解决)

感谢大家出谋划策,我来回复下问题进展:
1.所谓的sqlyog查询快,命令行查询慢的现象,已经找到原因了。是因为sqlyog会在查询语句后默认加上limit 1000,所以导致很快。这个问题不再纠结。
2.我已经试验过的方法(都没有用):
①给app_account字段加索引。
②给sql语句后面加order by null。
③调整where条件里字段的查询顺序,有索引的放前面。
④给所有where条件的字段加组合索引。
⑤用子查询的方式,先查where条件里的内容,再去重。
测试环境和现网环境数据还是有点不一样的,我贴一张现网执行sql的图(1分钟。。。):

在这里插入图片描述
六、最终解决方案

感谢评论里42楼的@言枫大佬!
经过你的提醒,我确实发现,explain执行计划里,索引好像并没有用到我创建的idx_end_time。
然后果断在现网试了下,强制指定使用idx_end_time索引,结果只要0.19秒
在这里插入图片描述
至此问题解决,其实同事昨天也在怀疑,是不是这个表索引建的太多了,导致用的不对,原本用的是idx_org_id和idx_mvno_id。
现在强制指定idx_end_time就ok了!
最后再对比下改前后的执行计划
改之前(查询要1分钟左右):
在这里插入图片描述
改之后(查询只要几百毫秒):
在这里插入图片描述

优化group By查询很慢的问题建议使用DISTINCT字段做分组的查询优化 前端发生查询一张表大约250W+的数据常量表,每次全量查询,一点击就全量查询,导致的查询很慢,刚开始,我想的是前端先做下限制,不要每一次弹窗就去全表查询,后续我抽时间把他们重构放在Redis上面,可是前端有意见,所以后端做优化,那就只能加班进行SQL的优化,其他的工作影响了进度,那么在这里记录下是如何使用呢SQL优化的解决,select * from 表 group By 表字段; 阅读详情

相关推荐

处理group by 查询速度太慢的问题 数据量大.doc

实际项目中因表数据量大,发现查询速度很慢。记录此次排查和优化过程。希望对阅读到此文章的朋友有所帮助。

group by 查询慢的话,如何优化?

怎么确定走的是全字段排序还是rowid 排序排序呢?由一个数据库参数控制的,max_length_for_sort_data。就是把需要排序的字段,放到sort buffer,排完就返回。在这里注意一点哈,排序分。如果是rowid排序,只是需要排序的字段放入sort buffer,然后多一次。如果是全字段排序,需要查询返回的字段,都放入sort buffer,根据。遍历完成后,再根据字段author做。group by可能会慢在哪里?根据一定的规则,进行分组。,得到结果集返回给客户端。

liu289747235的专栏 4728

[小技巧] 如何复制知乎电子书中的文字和图片

文章目录一、背景二、复制文字1.最简单的方法(适合短小文字)2. 进阶方法(适合大段文字)三、复制图片四、注意事项 一、背景 有时候希望从书中摘录一部分文字作为笔记,但是知乎电子书阅读时候是禁止copy的,要么手打,要么OCR,给学习带来了一些不便。 审查元素后发现,知乎电子书是把文字分成一段一段的,试图F12直接copy不太方便。 本问将以谷歌Chrome浏览器为例,给出复制小技巧。 二、复制文字 1.最简单的方法(适合短小文字) 选中你需要的文字,左键单击不放,直接拖到地址栏。 然后可以从地址栏中

江南蜡笔小新 9251

一次对group by时间导致的慢查询的优化

oracle ,mysql

只为成功找方法 不为失败找借口 3172

PCAN-Explorer5使用教程

在PCAN中新建工程,导入DBC文件(右键apply),导入采集的数据选择对应的CAN通道点击红框中的标记可选择想要查看的信号在plot界面跳出属性,可调整信号显示的样式和最大最小值调出cursor,选择需要观测的变量,选中右键style——Period 可显示间隔时间增加cursor,可观测多个变量。

weixin_43997043的博客 6916

【通信协议】I2C总线(一主多从)

I2C总线(一主多从)之软件模拟代码详解

m0_75090944的博客 9851

mysql SQL语句性能优化--Group by中执行慢性能差的原因调查与处理

转:https://blog.youkuaiyun.com/szwangdf/article/details/80789279 1. mysql在数据量较大的时候、使用group by查询结果集时速度很慢的原因可能有以下几种: 1)分组字段不在同一张表中 2) 分组字段没有建索引 3)分组字段加DESC后索引没有起作用(如何让索引起作用才是关键、且听下文分解) 4)分组字段中加函数导致索引不起作用...

hlvy 3562

ROS2实战:手把手教你用walking机器人仿真实现医院多楼层自动配送(含实时地图切换)

本文详细介绍了如何利用ROS2和walking机器人仿真平台实现医院多楼层自动配送系统,重点讲解了动态地图切换技术和多楼层导航的实现方法。通过实时加载地图和优化电梯过渡策略,解决了医院复杂环境下的自主配送难题,为医疗物流自动化提供了实用解决方案。

weixin_29090917的博客 365

记一次神奇的sql查询经历,group by慢查询优化(已解决)

一、问题背景 现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下: 我在测试环境构造了500万条数据,模拟了这个慢查询。 简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。 说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来...

weixin_30950887的博客 1744

RK3588平台开发系列讲解(以太网篇)MDIO底层驱动

沉淀、分享、成长,让自己和他人都能有所收获!😄。

内核笔记 6887

华为OD机试真题 新系统 9月16号 【统计特殊数字】

华为OD新系统机试真题【统计特殊数字】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【统计特殊数字】。

qq_45776114的博客 780

groupby多个字段性能_屌炸了!太神奇的SQL查询经历,group by慢查询优化

现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都...

weixin_39892565的博客 1896

AMBA-CHI协议详解(十五)

Write transactions事务描述以及请求属性,cache line状态转换。

Crazzy_M的博客 651

mysql group by神奇_屌炸了!太神奇的SQL查询经历,group by慢查询优化

现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都会有100...

weixin_42305622的博客 146

基于STM32的多功能旅行箱_329

随着智能硬件技术的不断发展,智能化产品逐渐渗透到日常生活的各个领域。旅行箱作为出行必需的工具,其传统功能已无法满足现代用户的需求,尤其是在安全性、便捷性和智能交互方面。为了解决这一问题,本设计基于STM32单片机开发了一款多功能智能旅行箱,集成了移动防盗报警、语音寻箱、GPS定位、称重检测、手势控制和蓝牙通信等多项功能。通过STM32F103RCT6主控芯片与HC-05蓝牙模块进行通信,结合海凌科V20语音识别模块、ATGM336H-5N GPS模块和HX711称重模块,提供了全方位的智能化体验。

485

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

groupby多个字段性能_太神奇的 SQL 查询经历,group by 慢查询优化!

作者:dijia478来源:https://www.cnblogs.com/dijia478/p/11550902.html一、问题背景现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app...

weixin_39644713的博客 573

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

mysql中groupby会用到索引吗_屌炸了!太神奇的 SQL 查询经历,group by 慢查询优化...

现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都会有100...

weixin_32019949的博客 3099

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

groupby多个字段性能_屌炸了!太神奇的 SQL 查询经历,group by 慢查询优化

现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都会有100...

weixin_39597323的博客 183

怎么会执行sql 懒加载 没用_太神奇的 SQL 查询经历,group by 慢查询优化!

作者:dijia478来源:https://www.cnblogs.com/dijia478/p/11550902.html一、问题背景现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:我在测试环境构造了500万条数据,模拟了这个慢查询。简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。说一下app...

weixin_35843410的博客 197

太神奇的 SQL 查询经历,group by 慢查询优化~

点击上方“java大数据修炼之道”,选择“设为星标”优质文章和精品资源, 第一时间送达关注公众号后台回复资源获取实战教学资料+视频作者:dijia478来源:https://www.cn...

hello world! 824
上一篇: Java线程池源码分析
下一篇: 再见了, VS Code !
java_Anni
博客等级 码龄7年 2粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值