SQL去重统计

最新推荐文章于 2025-04-05 17:44:54 发布
最新推荐文章于 2025-04-05 17:44:54 发布
阅读量3.8w 收藏 9
点赞数 8
分类专栏： 数据库
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/weixin_38208401/article/details/83034498
版权

SQL去重统计总数

单个账号存在邀请n个账号的情况
在这里插入图片描述

无论单个账号邀请多少个账号，都算1次，那么就要去重统计了

select count(distinct 去重字段) from 表
sql 去重并统计总数_记一次sql优化案例的模拟
weixin_39913422的博客
12-06 4398
偶然间看到老猫多年前的优化视频，按照惯例，模拟走起。构建测试环境及数据(oracle 11.2.0.4) drop table t;create table t(location varchar2(20),amount number,c1 number,c2 number,c3 number,salename varchar2(20));begin for...
sql去重 ，4种查询数量方法
qq_40098750的博客
03-02 4853
sql去重 ，4种查询数量方法
一条sql语句完成MySQL去重留一
12-16
前几天在做一个需求的时候，需要清理mysql中重复的记录，当时的想法是通过代码遍历写出来，然后觉得太复杂，心里想着应该可以通过一个sql语句来解决问题的。查了资料，请教了大佬之后得出了一个很便利的sql语句，这里分享下这段sql语句和思路。 需求分析 数据库中存在重复记录，删除保留其中一条（是否重复判断基准为多个字段） 解决方案 碰到这个需求的时候，心里大概是有思路的。最快想到的是可以通过一条sql语句来解决，无奈自己对于复杂sql语句的道行太浅，所以想找大佬帮忙。 找人帮忙 因为这个需求有点着急，所以最开始想到的是，可以找这方面的同行来解决，然后分享这个问题给同事，结果这货随便百度了一下，就
SQL：数据去重的三种方法
热门推荐
qq_35091353的博客
11-12 15万+
SQL中去除重复数据
SQL SELECT DISTINCT 语句详解：精准去重的艺术
QQ_778132974的博客
04-05 1293
是 SQL 中精准去重的核心工具，通过合理使用可显著提升数据质量。在实际应用中，需结合具体场景选择优化策略，如索引优化、临时表分阶段处理等。随着大数据和分布式计算的发展，未来DISTINCT将进一步集成智能优化技术，如自动索引推荐、并行计算加速等，为数据分析提供更强大的支持。掌握的艺术，不仅能让您的 SQL 查询更高效，还能在数据清洗、分析挖掘等场景中发挥关键作用。赶紧实践起来吧，让精准去重成为您数据分析的得力助手！
sql去重统计
晖轩大师
08-28 2104
SELECT count(distinct imei)   FROM [VPDB].[dbo].Stat_NochanelPage
SQL脚本去重分组统计
weixin_33845477的博客
06-26 387
需求：首先有一张表记录学生姓名、科目和成绩，然后模拟插入几条数据，脚本如下： create table score ( Name nvarchar(20),--姓名 subject varchar(20),--科目 grade int--成绩 ); insert into score(name,subje...
【SQL】：去重统计
yinlin330的博客
05-31 5160
SQL去重统计总数 表中存在一个账号多条记录情况，一个账号算一个客户，计算有多少个客户，并且客户份额不为0？ select count(distinct t.c_fundacco) from tstaticshares t where t.f_realshares <> ‘0’ ; ...
sql去除重复列（行）
weixin_33817333的博客
05-11 6903
有重复数据主要有一下几种情况： 1.存在两条完全相同的纪录 这是最简单的一种情况，用关键字distinct就可以去掉 example： select distinct * from table(表名) where (条件) 2.存在部分字段相同的纪录（有主键id即唯一键） 如果是这种情况的话用distinc...
6种SQL数据去重技巧！
eagle89的专栏
01-22 2万+
6种SQL数据去重技巧！
SQL去重（博主面试题）
qq_46138492的博客
03-13 1050
SQL去重（博主面试题）
SQL统计某个字段去重后的数量
Blog
07-26 1万+
SELECT COUNT(DISTINCT 去重的字段) from 表名称 WHERE IsDeleted=0;
SQL多字段去重统计
逆天killer的博客
01-20 2325
需求:统计相同案号不同用户名访问的次数 分析步骤一 分析步骤二 最终结果 SELECT distinct clue_code,user_id ,ifnull(count(distinct user_id),0) as clueReadNum FROM ZHMX_DATA_AHSJ.tb_clue_read_info group by clue_code
COUNT分组条件去重的sql统计语句示例(mysql)
weixin_33836874的博客
11-27 7264
常规情况下的sql分组统计为: select count(1) from 表 where 条件 group by 字段; 但是有时往往需要添加不同的条件已经去重的统计以上语句就不能满足需求。 解决方案为： 1.添加条件的统计方案： COUNT(CASE WHEN 条件 THEN 1 ELSE NULL END) xxx GROUP BY 分组字段   2.添加条件并去重的统计方案： C...
SQL去重的四种方法
qq_37772593的博客
07-12 8926
原理：先根据要去重的字段姓名，和唯一字段时间，拿到最后一个值，然后根据这个值，作为链接查询的关系，自连，从而完成拿到最后一条数据。作用：只能一列去重，当distinct后跟大于1个参数时，他们之间的关系是&&(逻辑与)关系，只有全部条件相同才会去重。作用：先根据重复列进行分组，分组后再进行排序，不同的组序号为1，相同的组序号为2，排除为2的就达到了去重效果。注意点：这样去除之后的数据是保留的第一条重复的数据，如果想保留最后一条数据，将min()改成max()代码：一张表a，开始时间是b，用户姓名c。
SQL去除重复数据
Claroja
12-14 7086
SQL中去除完全相同数据可以用distinct关键字，任意字段去重可以用group by，以下面的数据表为例。 id name score 1 小王 51 2 小魏 61 3 小张 71 4 小李 51 5 小王 51 1.存在两条完全相同的纪录，用关键字distinct就可以去掉 select distinct * from t
sql分组取出每组最大一条_SQL今日一题（12）：去重后计数
weixin_39853155的博客
12-09 586
这是SQL今日一题的第12篇文章今天有两道题目，因为很相似所以放在一起说。题目描述1从titles表获取按照title进行分组，每组个数大于等于2，给出title以及对应的数目t。用到titles表，这个表是一个新表，之前的题目没有遇到过，插入如下数据：方法select title ,COUNT(title) as t fromtitlesgroup by title ha...
SQL去除重复数据（count函数的用法）
qq30211478的博客
08-09 4万+
（一）核心：采用分组的概念group by，利用count（）函数统计每组的行数，如果行数大于1表示有多条重复数据，如果只有一行，则两个表中没有相同数据匹配，为多余的不同数据，就可以通过设置条件having count（列）>1，来找出不同以及重复。 其中count（列）如果大于1，则表示该组有多行相同数据；如果count（列）=1，则表示该组只有一行数组，即没有重复数据。 由此可知：...
sql去重统计id个数
最新发布
04-15
<think>好的，我现在需要解决用户的问题：使用SQL进行去重并统计ID的数量。用户提到的是“sql distinct count id”，所以需要结合DISTINCT和COUNT来实现。首先，我得回忆一下SQL中这两个关键字的用法。 根据引用中的信息，用户可能已经知道DISTINCT可以用来去重，但COUNT(DISTINCT column)可能会有性能问题，特别是在大数据量的情况下，因为它只用一个reducer，容易导致数据倾斜。引用[2]提到大厂有时候会禁止使用COUNT(DISTINCT)，而是推荐用GROUP BY代替。例如，原句是“建议用group by 代替 distinct”，这样可以避免单一reducer的问题，提升效率。 那用户的需求是统计去重后的ID数量。最直接的写法应该是SELECT COUNT(DISTINCT id) FROM table。不过根据引用中的建议，如果数据量大，可能需要优化。比如写成子查询，先通过GROUP BY去重，再统计数量。例如： SELECT COUNT(*) FROM (SELECT id FROM table GROUP BY id) t 这样可能更高效，尤其是在Hive这样的分布式系统中，GROUP BY可以并行处理，减少数据倾斜的风险。 另外，引用[3]里提到使用DISTINCT时结果集的顺序不保证，所以如果需要排序，要加上ORDER BY。不过这里用户只需要统计数量，可能不需要考虑顺序问题。 还需要注意，用户是否在使用特定的数据库系统，比如Hive，因为不同的系统对COUNT(DISTINCT)的处理可能不同。例如，Hive中COUNT(DISTINCT)可能会有性能问题，而其他如MySQL可能处理方式不同。但用户没有说明具体环境，所以需要给出通用的解决方案，同时提到优化的方法。 总结步骤： 1. 直接使用COUNT(DISTINCT id)的写法，适用于数据量小的情况。 2. 对于大数据量，改用GROUP BY的子查询方式，提高性能。 3. 提醒用户注意数据倾斜的问题，特别是在分布式系统中。 另外，引用[4]中有一个复杂的例子，里面用了count( distinct tb_driverReportInput.id)，这说明在某些情况下直接使用COUNT(DISTINCT)也是可行的，但需要根据具体情况权衡。 所以，回答中需要给出两种方法，并解释各自的适用场景和优缺点，同时引用提供的资料来支持建议，比如引用[2]和引用[3]中的内容。最后，生成相关问题，帮助用户进一步了解相关优化和使用场景。</think>### 分步解答 要使用 SQL 实现去重并统计 ID 的数量，需根据数据量和性能需求选择合适的方法： #### 方法 1：直接使用 `COUNT(DISTINCT)` 语法为： ```sql SELECT COUNT(DISTINCT id) AS unique_id_count FROM table_name; ``` - **适用场景**：数据量较小或对查询简洁性要求高时使用。 - **缺点**：在大数据场景下（如 Hive），`COUNT(DISTINCT)` 可能因单 reducer 处理导致性能瓶颈[^2]。 #### 方法 2：通过 `GROUP BY` 优化 改写为分组后再统计： ```sql SELECT COUNT(*) AS unique_id_count FROM (SELECT id FROM table_name GROUP BY id) t; ``` - **优点**：利用 `GROUP BY` 的并行计算能力，减少数据倾斜风险[^2]。 - **适用场景**：大数据量或分布式计算环境（如 Hive、Spark SQL）。 #### 对比说明 | 方法 | 性能 | 可读性 | 适用场景 | |------------|------------|--------|-------------------------| | COUNT(DISTINCT) | 低（大数据时） | 高 | 小数据或简单查询 | | GROUP BY | 高 | 中 | 大数据或需避免数据倾斜 | --- ### 相关问题 1. `COUNT(DISTINCT)` 在哪些场景下会导致性能问题？如何监控？ 2. 如何通过索引优化 `GROUP BY` 的去重查询？ 3. 除了去重统计，`DISTINCT` 关键字还有哪些常见使用限制？[^3] 4. 在 Hive 中如何配置参数提升 `GROUP BY` 查询效率？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值