group by和distinct的取舍

最新推荐文章于 2025-01-13 23:59:32 发布
原创 最新推荐文章于 2025-01-13 23:59:32 发布 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了HASHGROUPBY和HASHUNIQUE两种方法的区别，虽然二者差异不大，但最终选择了使用DISTINCT关键字来实现唯一性的需求。文章通过具体实例对比了使用GROUP BY和DISTINCT的不同之处。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

group by使用 HASH GROUP BY 

distinct  使用HASH UNIQUE

HASH UNIQUE和HASH GROUP BY并没有多少差异。


使用distinct:



使用group by:



最终选择了distinct，只因为它只有一个单词

无监督学习的伦理问题：数据隐私算法公平性
AI天才研究院
05-25 755
近年来，随着大数据技术的快速发展和算力的不断提升，人工智能（AI）迎来了新一轮的爆发式增长。其中，无监督学习作为一种重要的机器学习方法，由于其无需人工标注数据的特点，在数据挖掘、模式识别、图像处理等领域展现出巨大的应用潜力，并取得了一系列突破性进展。与需要人工标注数据的监督学习不同，无监督学习的目标是从无标签的数据中学习数据的内在结构和规律。它试图找到数据中隐藏的模式、关系或趋势，而无需任何预先定义的类别或标签。数据隐私指个人或组织对其自身信息的控制权，包括信息的收集、使用、披露和存储。
【2024系统架构设计】回顾历史，查缺补漏篇 ①
静谧、淡雅
04-25 213
回顾历史，查缺补漏篇 ①
【Oracle专栏】group by 和distinct 效率
weixin_42081167的博客
01-13 1733
group by 和distinct 效率： 1）有索引情况下，group by和distinct都能使用索引，效率相同 2）无索引情况下，distinct 效率高于group by。distinct 和 group by都会进行分组操作，但group by可能会进行排序，触发filesort，导致sql执行效率低下。
distinct和group by
mwj_88的专栏
03-17 1388
一、区别和相同点 这两个都是用于数据去重的。 相同点：无论对一个字段去重还是对多个字段去重，他俩得到的结果集相同。 效率上的区别： 数据分布 去重方式 原因 离散 group distinct空间占用较大，在时间复杂度允许的情况下，group 可以发挥空间复杂度优势 集中 distinct distinct空间占用较小，可以发挥时间复杂度优势
distinct 和group by
weixin_35749786的博客
01-13 644
distinct 和 group by 都是 SQL 查询语句中的关键字，它们的作用是对查询结果进行去重和分组。 distinct 用于去除查询结果中重复的行，它会对查询出来的所有字段进行去重。例如： SELECT DISTINCT name FROM users; group by 用于对查询结果进行分组，它会根据指定的字段将结果集分成多个组。例如： SELECT name, COUNT(*)...
【mysql】group by 和 distinct
TXX
11-12 1385
group by 用于分组,客串去重(结果只有一个分组的时候等于去重) distinct 用于去重 在普通查询语句上功能差不多 如 select * from order_goods group by order_sn; select distinct order_sn from order_goods;   但是在统计方面有点区别 group by + count sele...
MySQL——distinct与group by去重 / 松散索引扫描&紧凑索引扫描
娜娜米的博客
03-28 5838
本篇介绍MySQL中的 distinct 和 group by的区别，包括用法、效率，涉及松散索引扫描和紧凑索引扫描的概念；
SQL中的Distinct和Group By
Michael.Yang的Blog
07-05 1889
在项目中遇到写数据库层要处理去除重复数据的问题，使用distinct的过程中也遇到了一些新手容易遇到的简单问题。自己查找和参考了别人的博文，自己建表试验了一些写法，对distinct和group by的使用有了一些了解。不拿公司的项目说事，以在线图书馆系统的还书操作作为例子： 数据表 repay_record 表示还书明细信息表   id                             number not null,             //主键   repay_code        
窗口函数和groupby效率
最新发布
06-07
从对话历史看，用户参考了几个引用材料，其中引用2提到窗口函数提供更灵活的数据处理功能，引用5则讨论了DISTINCT和GROUPBY在无索引时的性能问题。这说明用户对技术细节有一定理解，但需要更系统的效率对比分析。...
Flink 实时去重方案
GitChat
02-17 8867
实时去重，一直都是实时领域常见的需求，但是同时也是一个难点。 在本场 Chat 中，会基于 Flink 提供不同的去重方案，深入分析每一种方案的使用方式，并且提供代码参考，会讲到如下内容： MapState 方式去重 SQL 方式去重 HyperLogLog 方式去重 HyperLogLog 去重优化 bitmap 精确去重 ...
GROUP BY和DISTINCT有什么区别？
边走、边悟、迟早变好
09-25 889
GROUP BY和DISTINCT是 SQL 中用于处理重复数据的两个不同的功能。
group by与distinct有何区别
༺ bestcxx的专栏 ༻
06-14 2878
select name from rate where channelname is not null group by name; select distinct name from rate
【入门留存】DISTINCT和GROUP BY
fanqieshuo的博客
12-01 499
经历了N次报错，总结下： 1、distinct类似excel里面剔除重复项，它要求对select后面所有列生效，如果distinct没有放在第一列字段前，会报错，就类似excel无法处理第一列保持不变，但对第二列去重 2、group by类似excel透视表，可以展示去重后的数值，在group by上套一层进行计数即可 3、count distinct类似excel加载数据模型的不重复计数 ...
group by 和distinct区别
mysnsds的博客
06-16 1490
group by 和distinct 区别
distinct 、group by 的区别
热门推荐
qq_36061501的博客
05-13 1万+
select distinct(university) from user_profile; select university from user_profile group by university;二者返回的结果式样的。但是既然一样，为什么又要做两个函数呢？来看看它们的区别 ———————————————— distinct 支持单列、多列的去重 单列去重的方式简明易懂，即相同值只保留1个；多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。 dis
distinct的讲解以及与Group By的区别
zisongjia的博客
09-20 822
distinct消除重复行。 group by是分组语句。 两者虽然这样的解释不一样，但是可以实现相同的效果。举例来说可能方便一点。 A表id numa 1b 2c 3a 4c 7d 3e 5 如果只选出id列，用distinct和group by 一样的。 select distinct(id) from A;idabcde;select id fr
distinct 和 group by有什么区别
java123456111的博客
07-18 3311
大部分场景下distinct是特殊的groupby，但是二者也有细微的区别，比如他们在查询结果集上，使用的具体业务场景上，以及性能上都是不同的。
mysql distinct和group by以及having用法
atu1111的博客
04-20 3667
mysql distinct 去重和group by用法区别 1. distinct 1.1 定义   在使用mysql时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段。 ...
hive group by 和distinct by
02-27
### Hive SQL 中 `GROUP BY` 和 `DISTINCT` 的区别及使用场景 #### DISTINCT 关键字 `DISTINCT` 是一种简单而直观的方法来去除重复的数据项。当查询返回的结果集中存在多行相同的记录时，`SELECT DISTINCT` 可以确保只保留唯一的一份副本。 ```sql -- 去除表t1中a字段的重复值并获取唯一的a值列表 SELECT DISTINCT a FROM t1; ``` 这种方法适用于希望快速获得某列或几列组合后的不重复集合的情况[^2]。 #### GROUP BY 子句 相比之下，`GROUP BY` 主要用于按特定条件对数据集进行分组处理，并通常配合聚合函数一起工作，比如统计每组的数量、求和或其他汇总操作： ```sql -- 对表t1中的a字段进行分组，并计算每一组内有多少条记录 SELECT a, COUNT(*) AS cnt FROM t1 GROUP BY a; ``` 除了基本的功能外，在某些特殊情形下，`GROUP BY` 还能起到类似于 `DISTINCT` 的作用——即通过指定单个列为分组依据从而达到消除该列冗余的目的；不过需要注意的是，这种方式并非总是最佳实践[^1]。 #### 性能考量 对于大规模数据集而言，由于 `DISTINCT` 需要在内存中构建哈希表来进行去重运算，因此可能会消耗较多资源而导致效率低下。相反，虽然基于磁盘I/O密集型的操作模式使得 `GROUP BY` 在执行速度上未必占优，但在面对海量级输入时往往表现更为稳定可靠[^3]。 #### 多列去重情况下的差异 值得注意的是，在涉及多个不同维度的同时去重需求时（例如同时针对id,name两列），部分数据库引擎可能不允许直接应用多次 `DISTINCT` ，此时则需借助其他手段如窗口函数或是嵌套子查询等方式绕过此限制[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值