group后count中既包含字段(可DISTINCT去重)又包含条件过滤

最新推荐文章于 2024-09-24 15:07:56 发布
转载 最新推荐文章于 2024-09-24 15:07:56 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/watcher/blog/841019
文章标签：

#数据库 #python #php

本文探讨了在SQL中如何使用COUNT函数进行复杂的数据汇总，包括如何计算每个用户拥有的卡片数量及特定类型的卡片数量，并展示了如何在一个查询中同时完成这两种汇总。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

分组后count中既包含字段又包含条件过滤

情景

假如用户表join另一个表后获得如下内容（每个用户可以有多个card,每个card有个card_type属性），别名为t

uidcard_typecard
11aaa
11bbb
10ccc
21ddd

常用聚合：

  1. 每个用户的card数量:
select t.uid, COUNT(t.card)	from t group by t.uid
select t.uid, COUNT(*) from t group by t.uid
  1. 每个用户card_type为1的card数量(COUNT不计null值) 。缺点：只能汇总card_type=1
select t.uid, COUNT(t.card) from t where t.card_type=1 group by t.uid

select t1.uid, COUNT(t1.card) from ( select * from t group by t.uid
) t1 group by t1.id, t1.card_type

select uid, COUNT(card_type=1 or null) from t group by uid

根据字段（可去重）和条件COUNT

每个每种card_type的card数量和所有类型card_type的card数量

此时汇总的字段为card，但是一个需要有card_type条件，一个不需要

上面汇总的方法就不适用了，就必须拆分为第1种和第2种两个sql查询。不再多说

下面列举一些单条sql的实现

select t.uid, COUNT(t.card), COUNT(if(t.card_type=1, t.card,null)) from t group by uid

select t.uid, COUNT(t.card), COUNT(CASE WHEN t.card_type=1 THEN t.card ELSE null)
from t group by uid

甚至可以对选择汇总的字段card去重计数

COUNT( DISTINCT if(t.card_type=1, t.card,null) )

转载于:https://my.oschina.net/watcher/blog/841019

(12)Hive调优——count distinct去重优化
爱吃辣条的博客
02-15 3106
Hive调优——count distinct替换
数据去重，用DISTINCT还是GROUP BY？
Java/Python大数据随笔
12-28 1417
MapReduce Job卡在了最后一个ReduceTask，任务迟迟未运行成功，ReduceTask只有一个如果某个Job任务卡在99%不动，例如，某个Reduce的时间比其他Reduce时间长的多，大部分Task在1分钟左右完成，只有一个Task执行20多分钟还没完成。这时我们就应该考虑出现数据倾斜了如果每个ReduceTask执行时间差不多，都特别长，不一定是数据倾斜导致的，可能是ReduceTask设置过少导致的。这时可以调整ReduceTask个数。
count distinct if 分析
qq_17902567的博客
04-04 9855
我们稍做修改 1 2 3 4 5 selectpartition_date,count(user_id), count(distinctif(user_is_new = 1, user_id, 0)) --注意新增用户量的统计,加了distinct去重 fromdw.nice_live_dw_...
distinct if count搭配使用
mmdsl083的博客
11-30 1631
根据某列状态统计数量，并且去重 DISTINCT是为了演示联表的时候重复数据情况，单表的话是不用DISTINCT的。
count(distinct if(a.business_type in (10, 11), a.complain_id, null)) 同时使用的逻辑
m0_53862381的博客
03-07 828
mysql count函数加条件总结
u011661574的博客
11-12 7915
文章目录 前言测试环境准备工作条件统计总结 前言 最近发现在处理Mysql问题时，count()函数频繁上镜，常常出现在分组统计的情景下，但是有时候并不是使用group by分好组就可以直接统计了，比如说一个常见的需求，统计每个班级男生所占的比例，这种情况一般会按照班级分组，但是分组内不但要统计班级的人数，还要统计男生的人数，也就是说统计是有条件的，之前确实没有考虑过怎样实心，后来查询了资料，总结在这里，方便日后查找使用。 Mysql中count()函数的一般用法是统计字段非空的记录数，所以可.
count(distinct) 与group by 浅析
热门推荐
bitcarmanlee的博客
04-29 3万+
在传统关系型数据库中，group by与count(distinct)都是很常见的操作。count(distinct colA)就是将colA中所有出现过的不同值取出来，相信只要接触过数据库的同学都能明白什么意思。count(distinct colA)的操作也可以用group by的方式完成，具体代码如下：select count(distinct colA) from table1; selec
sql_按照某一个字段进行去重后获取全部字段
07-10
根据题目中提供的 SQL 语句，我们可以看到这是一个较为复杂的去重操作案例，它不仅仅使用了 GROUP BY 进行分组，还结合了 EXISTS 子查询来进一步过滤结果。 #### SQL 语句解析 ```sql SELECT * FROM person_real_...
MongoDB教程之聚合（count、distinct和group）
09-10
在本教程中，我们将深入探讨MongoDB中的三个关键聚合操作：`count`、`distinct`和`group`。 1. `count` 函数： `count` 方法用于计算集合中符合特定条件的文档数量。在MongoDB中，你可以直接调用`db.collection....
mysql中去重 distinct用法
12-14
在MySQL数据库中，`DISTINCT` 是一个非常重要的SQL关键字，用于从查询结果中去除重复的行。在处理数据时，我们经常会遇到需要提取唯一值的情况，这时`DISTINCT`就能派上用场。以下是对`DISTINCT`用法的详细解释： 1...
Mysql count group by统计条数并且去重复方法
街角有人祝福,巷口有人哭~
01-24 5527
Mysql 分组之后如何统计记录条数并且去重复? gourp by 之后的 count，把group by查询结果当成一个表再count一次: select count(*) as count from (SELECT count(*) FROM 表名 WHERE 条件 GROUP BY id ) a;  ...
HIVE 高级应用(一)--COUNT 高级用法(条件过滤等)
anaitudou的专栏
05-30 1万+
在HIVE中，除了COUNT(*)外，COUNT还可以有很多高级用法。SELECT type , count(*) , count(DISTINCT u) , count(CASE WHEN plat=1 THEN u ELSE NULL END) , count(DISTINCT CASE WHEN plat=1 THEN u ELSE NULL END) , cou...
select count group by多个条件查询统计
xusen112的专栏
07-20 1万+
需要对一个表二维统计的情况下下需要对多个条件groupby 可以把条件放在count 里用case when区分，暂时只统计两个条件的，多的还没试； SELECT COUNT (CASE WHEN gender='F' THEN id ELSE null END ) AS F, COUNT (CASE WHEN gender='M' THEN id ELSE null END ) AS ...
mysql count() 函数 字段按条件统计数量并排除某个字段重复值
weixin_42414439的博客
05-27 5797
COALESCE()
qq_30226941的博客
09-15 398
COALESCE()函数 主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下：  COALESCE ( expression,value1,value2……,valuen)  COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个数不定。 COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。 如果expression不为空值则返回expression；否则判断value1是否
mysqlsql分组去重计数distinct&count&group by
pscool的博客
10-12 6744
count 与 distinct 连用，可实现去重计数；加上group by 可实现分组去重计数。
mysql count过滤空值，使其不将空数据计入条数
qq_2300688967的博客
08-22 8931
当mysql中使用count分组统计数据时，如果不想使空值计入总数，我们可以使用如下解决方法 1，首先看如下两个查询语句： （1） SELECT t.id, t.meetStyle, t.title, count(p.id) AS personCount, count(f.id) AS fileCount FROM meeting_info t LEFT
MySQL的group by 语句中能否对count的元素进行筛选在count1的同时也对某个字段count符合条件的数量
xiamu_CDA的博客
09-24 732
当你需要从数据库中获取特定分组的信息，并且不仅仅满足于简单的计数，而是希望能够对某些字段的计数添加额外的筛选条件时，事情就开始变得有趣了。例如，在一个电商系统中，我们可能想要知道每个城市的用户总数，但同时也想知道这些城市中有多少用户在过去的一个月内进行了购物。这就涉及到在同一查询中对不同的数据进行聚合统计的需求。本文将深入探讨MySQL中的GROUP BY语句如何与COUNT函数巧妙结合，以满足这种复杂场景下的需求。
新知识记录：COUNT函数中可以加表达式
ximexi的博客
03-11 513
今天在写功能时，遇到一个问题：我要对用户的文章和评论违规次数进行查询，也就是对举报表中用用户id做分组进行计数。但有一个问题，我在设计表时图方便将文章和评论的举报放在一个表中，并使用status字段进行区分。但我觉得应该有更简单的法子。然后就去查了下，找到了其实COUNT函数中是可以加入表达式进行条件过滤的。又学到新知识了，所以记录下。我一开始想到的是用left join进行连接查询，对笔记和评论分别进行查询。也就是说我要用一列的数据得到两列的结果。
spark中group by和distinct去重
最新发布
02-14
### 使用 `GROUP BY` 和 `DISTINCT` 进行去重 在 Spark 中，`GROUP BY` 和 `DISTINCT` 都可用于实现数据集的去重功能，但两者的工作机制和适用场景有所不同。 #### `DISTINCT` 对于简单的去除重复记录的需求而言，`DISTINCT` 提供了一种直观的方式。它能够直接过滤掉具有相同字段值的所有额外副本，仅保留唯一实例。语法简洁明了： ```sql SELECT DISTINCT column_name(s) FROM table_name; ``` 这种方法适合于不需要执行任何附加聚合运算的情况，并且其内部实现逻辑类似于 `reduceByKey` 操作，即先局部规约再全局汇总[^5]。 #### `GROUP BY` 相比之下，`GROUP BY` 不仅仅是用于消除冗余项；它可以同时支持更复杂的统计分析任务，比如求平均数、总和等。因此，在某些情况下，即使目的是为了去重，如果伴随有其他计算需求，则应优先考虑使用 `GROUP BY` 来完成工作。基本语句形式如下所示： ```sql SELECT column_name, aggregate_function(column_name) FROM table_name GROUP BY column_name; ``` 当只关注去重效果而不涉及更多复杂度时，通常来说，`GROUP BY` 的效率可能不如 `DISTINCT` 或者基于 `reduceByKey` 实现的方法高效[^2]。 #### 示例代码展示两种方式的区别 下面给出一段 Python 代码片段来说明这两种不同策略的具体差异： ```python from pyspark import SparkContext sc = SparkContext(appName="example") data_rdd = sc.parallelize([("apple",), ("banana",), ("apple",)]) # Using distinct to remove duplicates directly. unique_items_distinct = data_rdd.distinct().collect() print(unique_items_distinct) # Alternatively using groupBy with a dummy aggregation function. def count_elements(iterator): yield sum(1 for _ in iterator) unique_items_groupby = ( data_rdd.groupByKey() # Assuming the input is already key-value pairs like ('item', None). .mapValues(lambda x: list(count_elements(x))[0]) # Dummy operation here just as an example. .keys() .collect() ) print(unique_items_groupby) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值