[转] select count(*)的思考

select count(*)的思考

原文:MYSQL性能调优与架构设计

 

举例:

这里我们就拿一个看上去很简单的功能来分析一下。

需求:一个论坛帖子总量的统计

附加要求:实时更新

 

在很多人看来,这个功能非常容易实现,不就是执行一条SELECT COUNT(*)的Query 就可以得到结果
了么?是的,确实只需要如此简单的一个Query 就可以得到结果。但是,如果我们采用不是MyISAM 存储
引擎,而是使用的Innodb 的存储引擎,那么大家可以试想一下,如果存放帖子的表中已经有上千万的帖
子的时候,执行这条Query 语句需要多少成本?恐怕再好的硬件设备,恐怕都不可能在10 秒之内完成一

次查询吧。如果我们的访问量再大一点,还有人觉得这是一件简单的事情么?

 

既然这样查询不行,那我们是不是该专门为这个功能建一个表,就只有一个字段,一条记录,就存
放这个统计量,每次有新的帖子产生的时候,都将这个值增加1,这样我们每次都只需要查询这个表就可
以得到结果了,这个效率肯定能够满足要求了。确实,查询效率肯定能够满足要求,可是如果我们的系
统帖子产生很快,在高峰时期可能每秒就有几十甚至上百个帖子新增操作的时候,恐怕这个统计表又要
成为大家的噩梦了。要么因为并发的问题造成统计结果的不准确,要么因为锁资源争用严重造成整体性

能的大幅度下降。

 

其实这里问题的焦点不应该是实现这个功能的技术细节,而是在于这个功能的附加要求“实时更
新”上面。当一个论坛的帖子数量很大了之后,到底有多少人会关注这个统计数据是否是实时变化的?
有多少人在乎这个数据在短时间内的不精确性?我想恐怕不会有人会傻傻的盯着这个统计数字并追究当
自己发了一个帖子然后回头刷新页面发现这个统计数字没有加1 吧?即使明明白白的告诉用户这个统计

数据是每过多长时间段更新一次,那有怎样?难道会有很多用户就此很不爽么?

 

只要去掉了这个“实时更新”的附加条件,我们就可以非常容易的实现这个功能了。就像之前所提
到的那样,通过创建一个统计表,然后通过一个定时任务每隔一定时间段去更新一次里面的统计值,这

样既可以解决统计值查询的效率问题,又可以保证不影响新发贴的效率,一举两得。

 

实际上,在我们应用的系统中还有很多很多类似的功能点可以优化。如某些场合的列表页面参与列

表的数据量达到一个数量级之后,完全可以不用准确的显示这个列表总共有多少条信息,总共分了多少页,
而只需要一个大概的估计值或者一个时间段之前的统计值。这样就省略了我们的分页程序需要在分

以前实时COUNT 出满足条件的记录数。

 

其实,在很多应用系统中,实时和准实时,精确与基本准确,在很多地方所带来的性能消耗可能是
几个性能的差别。在系统性能优化中,应该尽量分析出那些可以不实时和不完全精确的地方,作出一些
相应的调整,可能会给大家带来意想不到的巨大性能提升。

This entry was posted in 数据库

深入浅出:拆解RK3588 DVP摄像头驱动框架,从DTS配置到V4L2子系统 本文深入解析RK3588 DVP摄像头驱动框架,从DTS配置到V4L2子系统的完整实现。详细介绍了瑞芯微RK3588的多媒体子系统架构、设备树配置逻辑、rkcif驱动与V4L2框架的交互机制,以及用户空间调试与性能优化技巧,帮助开发者解决DVP摄像头驱动中的常见问题。 阅读详情

相关推荐

Globus 数据下载

Globus 大数据下载流程~

weixin_43978558的博客 6648

select count(*) from table_name where primary_key >=0

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34408624的博客 204

CCS20实战入门:第一个工程搭建示例

通过实际操作演示如何在ccs20中创建并配置首个开发项目,涵盖环境设置与基础调试步骤,帮助新手快速上手ccs20集成开发环境,提升嵌入式开发效率。

weixin_31185473的博客 888

sql笔记

1.将某一字段中,英文括号改为中文括号: update 表 set 字段= replace(replace(字段,'(', '('), ')', ')') 参照asc码:http://ascii.911cha.com/?year=tab 2.将表1与表2做匹配,匹配上的就将表2的一个字段替换到表1的某个字段。 updateem_video_cameraa setcamera_r...

SunWuKong_Hadoop的博客 2335

Ubuntu 20.04 上 Geant4 安装避坑全记录:从源码编译到 B1 示例跑通(含数据包加速下载)

本文详细记录了在Ubuntu 20.04系统上从源码编译安装Geant4的全过程,包括环境准备、依赖安装、CMake参数解析、多线程编译优化以及数据包加速下载等关键步骤。特别针对B1示例的测试与验证提供了完整流程,帮助科研人员和学生避开常见安装陷阱,提升粒子物理模拟效率。

weixin_31220401的博客 313

SIMetrix教程-001.SIMetrix软件简介与安装

  由于某些原因需要用到SIMetrix仿真软件,然而网上的资料并不是特别多,故在此记录一下这款仿真软件的学习过程,也给有需要的人提供一些参考,免走弯路。如果使用过Pspice或者LTspice软件,学习SIMetrix会很容易入门,仿真软件都是大同小异的,会一样后都可以快速入门其他软件。   SIMetrix是一款以SPICE模型为基础的仿真软件,集成了SIMetrix和SIMPLIS两款内核,为工程师提供了可靠的、易于使用的、并完美结合了速度与精度的电路仿真方式。官方的话不多说,和LTspice一样,优

gaoyong_wang的博客 2万+

转】MYSQL性能调优与架构设计之select count(*)的思考

  原博文出自于:  http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/5/      感谢!       Posted: Feb 7, 2013 Tags: MySQL Comments: 0 Comments [转] select count(*)的思考 select count...

weixin_34004576的博客 71

从零实战:模拟Soul/陌陌附近的人接口爬虫(设备指纹·加密逆向·动态代理全解)

在移动互联网流量见顶的今天,LBS(基于位置的服务)社交平台——尤其是Soul和陌陌——依然掌握着海量高活用户的地理位置画像、兴趣标签、在线活跃时段等敏感数据。对于市场调研、流量运营、甚至是城市热力分析而言,“附近的人”接口是一个极具价值的入口。然而,这两款App均采用全参数加密 + 设备指纹风控 + WAF动态防御的三重护城河。直接使用Requests库调用公开API无异于以卵击石。本文将从逆向工程视角出发,完整还原一套可用的附近人信息采集方案,涵盖:抓包与流量分析(绕过SSL Pinning)

2201_76125261的博客 216

mysql转大数据架构_转】MYSQL性能调优与架构设计之select count(*)的思考

select count(*)的思考原文:MYSQL性能调优与架构设计举例:这里我们就拿一个看上去很简单的功能来分析一下。需求:一个论坛帖子总量的统计附加要求:实时更新在很多人看来,这个功能非常容易实现,不就是执行一条SELECT COUNT(*)的Query 就可以得到结果了么?是的,确实只需要如此简单的一个Query 就可以得到结果。但是,如果我们采用不是MyISAM 存储引擎,而是使用的In...

weixin_36053398的博客 153

电动汽车远程监控与诊断软件:BMW ConnectedDrive EV远程监控二次开发_7.数据安全与隐私保护

数据加密是保护数据安全的重要手段之一。在电动汽车远程监控与诊断软件中,加密技术可以确保数据在传输过程中的安全性和完整性。常见的加密技术包括对称加密和非对称加密。

zhubeibei168的博客 886

1. 如何使用扣子工作流一键生成儿童绘本(可以发到小红书,微信公众号图文等)

本文介绍了使用扣子智能体一键生成儿童绘本的工作流。用户只需输入绘本主题,系统会自动生成Markdown格式内容,可直接发布到优快云、小红书等平台,还支持推送至微信公众号草稿箱。操作步骤包括:访问扣子网站导入工作流源代码,输入主题试运行,查看实时进度和最终输出结果。工作流编辑器会显示每个节点的执行状态和耗时,支持通过"查看日志"功能回溯历史运行记录。文末附有工作流源代码下载链接。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1252

mysql innodb count_MySQL下INNODB引擎的SELECT COUNT(*)性能优化及思考

正 文:MySQL下INNODB引擎的SELECT COUNT(*)性能优化及思考最近有项目有高并发需求,服务器采用负载均衡,数据库采用阿里云的RDS MYSQL,16核64G内存,连接数:16000 IOPS:14000,前几场活动一切正常,RDS的cpu都维持在40%以内的使用率,但是后面几场的时候发现RDS的cpu达到了100%,RDS几乎挂掉了!排查原因,发现了大量慢日志:select c...

weixin_31433053的博客 993

6、核函数与再生核希尔伯特空间:原理、应用与实践

本文系统介绍了核函数与再生核希尔伯特空间(RKHS)的理论基础、核心性质及其在机器学习和信号处理中的广泛应用。文章从核方法的优势出发,阐述了其在非线性建模、正则化和算法核化方面的独特价值,并深入探讨了正定核、Mercer定理、表示定理等关键理论。通过构建多种标准核与工程专用核,展示了核函数的设计灵活性。结合支持向量回归(SVR)模型与多个MATLAB示例,详细说明了核方法的实际应用流程与操作技巧。最后,总结了核方法的应用领域、未来发展方向及学习实践建议,为读者提供了一套完整的理论与实践指南。

z2a3b4c5d的博客 146

select * 与 count(*)数量不一致_小王:MySQL count(1) 真的比 count(*) 快么?

前语:不要为了读文章而读文章,一定要带着问题来读文章,勤思考。来源公众号:码匠笔记MySQL count(1) 真的比 count(*) 快么? 反正同事们都是这么说的,我也姑且觉得对吧,那么没有自己研究一下究竟?如果我告诉你他们一样,你信么?有Where条件的count,会根据扫码结果count一下所有的行数,其性能更依赖于你的Where条件,所以文章我们仅针对没有Whe...

weixin_42522676的博客 915

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

面试官:请说一下Mysql中count(1)、count(*)以及count(列)的区别?

本文深度解析MySQL的COUNT(1), COUNT(*),COUNT(列)计数方式,强调COUNT(*)的广泛应用与InnoDB存储引擎的优化。通过性能比较,揭示COUNT(id)在索引下的性能,通过技术细节揭示MySQL查询优化器的工作原理,最终总结适用场景,为读者提供计数方式选择的指导。

俺叫赵小邪的博客 1415

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

你是一直认为 count(1) 比 count(*) 效率高么?

点击上方“Java后端技术”,选择“置顶或者星标”你关注的就是我关心的!作者:码匠笔记微信公众号:码匠笔记上一篇:教你如何利用Token实现分布式Session!MySQ...

Java后端技术 449

in和exsits、count(*)查询优化

一、in和exsits 1.1 原则 小表驱动大表,即小的数据集驱动大的数据集 1.2 in 适用场景:当B表的数据集小于A表的数据集时,in优于exists select * from A where id in (select id from B)       可以先思考下,是括号里面的SQL先执行还是外面先执行???       绝大数情况下是括号里面的SQL先执行,也有些特殊情

sxl123sxl的博客 1360

mysql select count并发_MYSQL性能调优与架构设计之select count(*)的思考

select count(*)的思考原文:MYSQL性能调优与架构设计举例:这里我们就拿一个看上去很简单的功能来分析一下。需求:一个论坛帖子总量的统计附加要求:实时更新在很多人看来,这个功能非常容易实现,不就是执行一条SELECT COUNT(*)的Query 就可以得到结果了么?是的,确实只需要如此简单的一个Query 就可以得到结果。但是,如果我们采用不是MyISAM 存储引擎,而是使用的In...

weixin_26824207的博客 196

mybatis select count(*) 一直返回0 mysql_Python 之 MySql“未解之谜”12--一个*号引发的思考...

初入 MySql 江湖无论是自己写 sql 语句,还是临摹公司前辈的祖传代码铁打的营盘,流水的 sql 语句有“经验”的开发者可能会提醒你说:不建议用 select *围观下《阿里巴巴开发手册》中 MySql 部分描述●【强制】在表查询中,一律不要使用 * 作为查询的字段列表,需要那些字段必须明确写明。说明:① 增加查询分析器解析成本② 增减字段容易与 resultMap 配置不一致关于 查询分析...

weixin_39799290的博客 1569

我就执行一个count(*)为什么这么慢?

前言 今天想看一下我的活动有多少用户参与了,随手执行了一条语句select count(*) from table;我等待几秒钟才出现结果,我不禁陷入了对社会和人生的大思考。 是我太菜吗?不这条语句简单到无法优化,以至于少一个符号就可能报错;是MySQL太笨了吗?用一个变量保存一个总数,每次要查的时候直接返回,不就好了吗? 上面的是真实的故事背景,我们今天就来聊一聊count(*)底层到到底...

不爱学习 1647

mysql innodb count 优化_MySQL下INNODB引擎的SELECT COUNT(*)性能优化及思考

原文链接: 最近研究MYSQL时突然发现count(*) 的问题, 网络上查询时发现该文章.作者:飘易来源:飘易版权所有。转载时必须以链接形式注明作者和原始出处及本声明。执行效率:MYISAM > InnoDB ( secondary key(单独存放) > primary key(与 data 保存) )InnoDB引擎并不适合使用select count(*)查询总行数。...

weixin_42503645的博客 240

【MySQL计数优化】:COUNT(*) vs COUNT(1) 详解与技术选型指南

此大纲聚焦技术本质,通过执行计划分析、基准测试、优化方案三层递进,帮助开发者建立科学选型认知。

weixin_46669100的博客 609

MySQL下INNODB引擎的SELECT COUNT(*)性能优化及思考

原文链接: 最近研究MYSQL时突然发现count(*) 的问题, 网络上查询时发现该文章. 作者:飘易来源:飘易版权所有。转载时必须以链接形式注明作者和原始出处及本声明。 执行效率:MYISAM > InnoDB ( secondary key(单独存放) > primary key(与 data 保存) ) InnoDB引擎并不适合使用select cou...

weixin_30435261的博客 581

mysql count函数加条件_重新认识MySQL中的COUNT语句

在数据库的增删改查操作中,使用最频繁的就是查询操作。而在所有查询操作中,统计数量操作更是经常被用到。关于数据库中行数统计,无论是MySQL还是Oracle亦或者是SqlServer,都有一个函数可以使用,那就是COUNT。而对于COUNT,有几个问题很值得去思考:1、COUNT有几种用法?2、COUNT(字段名)和COUNT(*)的查询结果有什么不同?3、COUNT(1)和COUNT(*)之间有什...

weixin_39917291的博客 1587

bash mysql count()_MySQL下INNODB引擎的SELECT COUNT(*)性能优化及思考

原文链接: 最近研究MYSQL时突然发现count(*) 的问题, 网络上查询时发现该文章.作者:飘易来源:飘易版权所有。转载时必须以链接形式注明作者和原始出处及本声明。执行效率:MYISAM > InnoDB ( secondary key(单独存放) > primary key(与 data 保存) )InnoDB引擎并不适合使用select count(*)查询总行数。...

weixin_39636609的博客 67

mysql中使用count()统计总结与思考

如果你的需要是统计总行数时,为什么要使用count(*),而避免使用指定具体的列名?count()函数里面的参数是列名的的时候,那么会计算这个字段有值项的次数。也就是,该字段没有值的项并不会进入计算范围(就是网上常说的值为null的项不纳入统计) 很多地方都有类似表述: COUNT ( column ) counts all non-NULL occurences (or shoul...

dichen3237的博客 225

spring jpa 执行count的时候为什么要执行一个insert语句_重新认识MySQL中的COUNT语句...

在数据库的增删改查操作中,使用最频繁的就是查询操作。而在所有查询操作中,统计数量操作更是经常被用到。关于数据库中行数统计,无论是MySQL还是Oracle亦或者是SqlServer,都有一个函数可以使用,那就是COUNT。而对于COUNT,有几个问题很值得去思考:1、COUNT有几种用法?2、COUNT(字段名)和COUNT(*)的查询结果有什么不同?3、COUNT(1)和COUNT(*)之间有什...

weixin_28867413的博客 446
上一篇: R数据处理 – 自定义方法
下一篇: [转] 数据科学家面试常见的77个问题
Fens
博客等级 码龄26年 126粉丝 276原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值