sql优化之：count(distinct xxxx)

最新推荐文章于 2024-07-30 09:01:15 发布
原创 最新推荐文章于 2024-07-30 09:01:15 发布 · 939 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在处理大量数据时，SQL查询效率的提升策略。通过使用优化的查询语句，如替代使用`COUNT(1)`代替`COUNT(DISTINCT column)`，可以在不牺牲数据准确性的情况下显著提高查询速度。文章详细介绍了这种方法的工作原理，以及如何在实际应用中实施。同时，提供了关键的SQL语法示例，并讨论了不同场景下最佳实践。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

select count(distinct   column) from table_name;

这样一条sql在数据量比较大时可能跑的时间很长。

可以用：select count(1) from (select   column from table_name group by column)


效果可以有所改善

MyBatis性能调优——优化SQL查询和分页查询速度
AI天才研究院
07-28 3236
MyBatis 是 MyBatis SQL Mapper Framework 的简称，是一个 Java 框架，用于存取数据库中的数据。MyBatis 将 sql 映射到 java 对象上，并将对象映射成 sql，最终实现对关系数据库进行持久化操作。MyBatis 使用 xml 或注解的方式来配置映射关系，并通过 xml 文件或注解来生成mybatis核心配置文件 mybatis-config.xml，然后再根据具体的业务需要编写 mapper 文件。
(12)Hive调优——count distinct去重优化
爱吃辣条的博客
02-15 2966
Hive调优——count distinct替换
优化调优：Count(DISTINCT)去重统计
最新发布
My_wife_QBL的博客
07-30 5922
函数返回指定列中唯一值的数量。这在数据去重和汇总分析中非常有用。例如，假设有一个用户表，包含用户的注册信息，可以使用来计算唯一用户的数量。在数据分析和统计过程中，是一个常用且重要的功能。然而，随着数据集规模的增加，性能问题愈发突出。通过合理的优化策略，如使用索引、子查询、近似算法等，可以显著提高的性能。在实际应用中，了解数据特性、合理设计数据库结构和查询策略是优化的关键。同时，定期监控和评估查询性能，及时进行调整与优化，能够确保数据分析的高效性与准确性。
count(distinct)优化
m0_48714980的博客
12-17 1028
当查询数据量很大的时候，count(distinct)会导致内存溢出 SELECT shop_name,COUNT(DISTINCT user_id) AS uv FROM user_visit GROUP BY shop_name; 往往会用下面所替代 SELECT shop_name,COUNT(*) FROM ( SELECT shop_name,user_id FROM user_visit GROUP BY shop_name,user_id) tmp GROUP BY shop_name ;
count(distinct())效率优化
热门推荐
eagle89的专栏
09-16 3万+
如何提升自身sql效率，更快得到想要的数据，是每一个使用sql的同学都需要学习和关注的事情。 sql作为面向大众的数据提取工具，除了研发、数据分析师，产品经理及业务运营同学也都有应用需求。只要sql无语法错误，保持等待，或长或短都是可以输出结果的。但是在数据量庞大或数据逻辑复杂时，或碰上线上资源紧张，或者好不容易等了3小时、结果发现数据有点异常需要修改后重跑，不知道有没有同学有相同的经历。 低效是每位同学都不乐见的，而避免这个问题就要求我们学习优化sql的方法，从而减少自己等数的焦虑时光。 而其中最常
Hive之count(distinct xxx)优化写法
蔡政洁的博客
10-13 924
先看一道某互联网公司的面试题： 题目描述 计算每个首份的买家数的sq代码如下: select province ,count(distinct buyer_id) from orders where dt = '20211012' group by province 假设 orders表很大，每天有5千万订单，这个代码会有哪些问题，应该如何处理或者改写代码？ 解答：这种写法逻辑上没问题，而它的底层引擎是mapreduce，是分布式计算的，但是在实际业务中如果数据量过大，相同重复的key过
数仓|COUNT DISTINCT数据倾斜优化
延宝小白马的博客
03-27 1772
什么是数据倾斜 数据倾斜，在MapReduce编程模型中十分常见，就是大量的相同key被分配到一个分区里，造成了个别task运行的非常慢，从而影响了整个任务的执行效率。 数据倾斜产生的根本原因是少数Worker处理的数据量远远超过其他Worker处理的数据量，因此少数Worker的运行时长远远超过其他Worker的平均运行时长，导致整个任务运行时间超长，造成任务延迟。 数据倾斜的原因 当我们看任务进度长时间维持在99%（或100%），查看任务监控页面就会发现只有少量（1个或几个）reduce子任务未
大数据hive篇--count(distinct xxx)优化写法
qq_43709558的博客
09-20 573
sql优化
39. hive 在使用 count(distinct ) over 时报错，提示 Expression not in GROUP BY key
元元的李树专栏
01-20 1871
hive 在使用 count(distinct ) over 时报错，提示FAILED: SemanticException [Error 10025]: Line 1:123 Expression not in GROUP BY key解决办法 参考了很多帖子，都没有说明解决办法。 我给出一个折中的参考方案，在聚合前，先将数据去重，再cout() over 即可。 下面给出我的参考范...
hive-sql高频命令总结
weixin_41109972的博客
03-02 1129
COUNT count(*)：所有行进行统计，包括NULL行 count(1)：所有行进行统计，包括NULL行 count(column)：对column中非Null进行统计 ROW_NUMBER() 语法形式：ROW_NUMBER() OVER(PARTITION BY COL1 ORDER BY COL2) 解释：根据COL1分组，在分组内部根据 COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的) 常用的使用场景：例如取每个学科的前3名 汇总不去重 常应用于统计PV
hive count(distinct )的优化手段
h494411的博客
03-06 602
背景: 近期做了ABT项目,基于公司的营销系统的push渠道去做AB测试,把人群划分为A分支和B分支,每个分支采用不同的算法模型,去查看其对应A分支和B分支带来的uv转化和对应的订单转化.优化手段:优化手段: 将 去重指标count(distinct xxxx) 拉出去单独计算, 这一部分去重指标改为group by再向上聚合,再union all 回去.当要统计某一列去重数时，如果数据量很大，count(distinct) 就会非常慢，原因与 group by 类似，
oracle中使用group by优化distinct
09-10
主要介绍了oracle中使用group by优化distinct的相关资料,需要的朋友可以参考下
Oracle12c中性能优化新特性之新增APPROX_COUNT_DISTINCT 快速唯一值计数函数
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
01-14 1392
Oracle11g中，为了改善DBMS_STATS包收集统计信息时的唯一值计数功能，增加了 APPROX_COUNT_DISTINCT函数，但文档中并未记载。Oracle12c文档中包括了该函数，因此，我们现在可以在应用中随意使用它。本文通过实例对该新函数进行了说明，并测试了对性能的改善，记录于此，以供今后同行及自己参考学习。
多列 count(distinct)改写优化
m0_49291452的博客
06-30 1355
gabse
SQL优化：多个count(distinct)跑得慢如何优化？
weixin_45166330的博客
07-14 1305
考虑去重字段数量1>2>3>42>3>4（此时方法1不适用）
大数据开发之Hive案例篇5- count(distinct) 优化一例
只是甲的博客
05-24 491
因为本身是离线数据，此时可以借助临时表，首先把每个用户首次访问的时间记录下来，这样就可以将处理的数据大大减少，最后再通过开窗函数处理即可。一般一个reduce处理的数据是1G，所以首先想能不能增加reduce的个数来调优上述Hive SQL。SQL也是因为 count(distinct)的存在，导致reduce数分配少了，进而出现数据性能问题。上述SQL所代表的业务逻辑是求截止当前每分钟的用户访问数(如出现多次，只算一次)经验证，调整了上述参数后，问题依旧没有得到解决。
【SQL优化】使用子查询可提升 COUNT DISTINCT
Insist
05-29 2129
Count distinct是SQL分析时的祸根，因此它是我第一篇博客的不二选择。 首先：如果你有一个大的且能够容忍不精确的数据集，那像HyperLogLog这样的概率计数器应该是你最好的选择。（我们会在以后的博客中谈到HyperLogLog。）但对于需要快速、精准答案的查询，一些简单的子查询可以节省你很多时间。 让我们以我们一直使用的一个简单查询开始：哪个图表的用户访问量最大？
Hive之COUNT DISTINCT优化
u011500419的专栏
03-15 579
COUNT(DISTINCT xxx)在hive中很容易造成数据倾斜。针对这一情况，网上已有很多优化方法，这里不再赘述。 但有时，“数据倾斜”又几乎是必然的。我们来举个例子： 假设表detail_sdk_session中记录了访问某网站M的客户端会话信息，即：如果用户A打开app客户端，则会产生一条会话信息记录在该表中，该表的粒度为“一次”会话，其中每次会话都记录了用户的唯一标示uuid，u...
Hive--count(distinct)优化
qq_46893497的博客
09-30 4326
前言 使用count distinct计算两列联合去重时，若有任何一列为NULL，那么count计数时就会略过这一条。 如：count(distinct a,b) 若a或者b中有一个是null，那么这一行就不会参与计数 平台：hive、mysql都是如此 id tools name 1 hive a 2 hive b 3 hive NULL 4 NULL m 6 观察以下代码执行结果 ...
优化SQL性能：EXISTS替代DISTINCT提升ORACLE效率
本文档主要探讨了在Oracle SQL性能优化中，如何使用EXISTS操作符替代DISTINCT来提升查询效率的问题。首先，作者通过一个示例展示了原始的低效查询，即直接使用DISTINCT关键字筛选DEPT_NO和DEPT_NAME，该查询会返回...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值