distinct与group by的查询效率对比

最新推荐文章于 2023-03-22 14:57:36 发布

树中小鬼

最新推荐文章于 2023-03-22 14:57:36 发布

阅读量275

点赞数

分类专栏：结绳备忘文章标签： hive hadoop 数据仓库

本文链接：https://blog.youkuaiyun.com/goblinintree/article/details/129057809

版权

结绳备忘专栏收录该内容

1 篇文章

订阅专栏

在不同数据量下，Drios、Spark、Hive和Presto的查询效率有显著差异。Drios在特定操作中表现出色，而Spark和Presto在速度上优于Hive，尤其是在处理大量数据时。Presto展现了极快的查询速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据量： 1069753条
数据库	distinct	第二次	group by	第二次	版本
Drios	1.788s	0.751s	2.554s	0.637s	5.1.0
数据量： 1021343条
Spark	6s	2s	3s	2s	3.0.3
Hive	58s	58s	54s	44s	1.1.0-cdh5.16.2 rUnknown
Presto	2s	2s	0.413s	0.584s	--

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

树中小鬼

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

distinct和group by的效率比较

奋斗的阿杰的博客

07-25

3524

distinct和group by的性能比较

group by 效率高还是distinct效率高？你得先看什么数据库。

最新发布

qq_25156781的博客

06-21

1219

其实取消这种操作也好，众多数据库中也就mysql有这种排序操作，而且只排序第一个group by 子句中的字段，对于不需要排序的查询需求，无疑是增加不必要的执行负担。可是group by在不同的数据库中语法是区别很大的：比如mysql中比较灵活，group by子句中的字段和select子句中字段关联不大，group by中的字段可以出现在select 中，也可以不出现。而mysql的排序还是仅限于对紧跟group by的第一个字段进行排序，多字段分组的情况下，除了第一个字段，其他的并不做排序。

参与评论您还未登录，请先登录后发表或查看评论

面试官：MySQL中的 distinct 和 group by 哪个效率更高？

m0_71777195的博客

12-24

782

DISTINCT和GROUP BY都是可以使用索引进行扫描搜索的。例如以下两条sql（只单单看表格最后extra的内容），我们对这两条sql进行分析，可以看到，在extra中，这两条sql都使用了紧凑索引扫描。所以，在一般情况下，对于相同语义的DISTINCT和GROUP BY语句，我们可以对其使用相同的索引优化手段来进行优化。但对于GROUP BY来说，在MYSQL8.0之前，GROUP Y默认会依据字段进行隐式排序。可以看到，下面这条sql语句在使用了临时表的同时，还进行了filesort。

distinct和group by的效率

三生三石光润木子

11-01

997

加了索引之后 distinct 比没加索引的 distinct 快。加了索引之后 group by 比没加索引的 group by 快。再来对比：distinct 和 group by 不管是加不加索引 group by 都比 distinct 快。因此使用的时候建议选 group by

distinct和group by，效率比较

weixin_35757191的博客

02-13

2936

在数据库中，DISTINCT 和 GROUP BY 都是用来过滤重复数据的，但它们的原理和用法是不同的。 DISTINCT 是通过比较每一行数据，仅返回不重复的数据，因此如果数据量较大，DISTINCT 的效率较低。 GROUP BY 是通过分组，将相同的数据分为一组，并对每一组数据进行计算，因此如果数据量较大，GROUP BY 的效率较高。总的来说，GROUP BY 的效率要优于 DISTIN...

DISTINCT和GROUP BY的效率

tianlianchao1982的专栏

03-14

1473

DISTINCT操作只需要找出所有不同的值就可以了。而GROUP BY操作还要为其他聚集函数进行准备工作。从这一点上将，GROUP BY操作做的工作应该比DISTINCT所做的工作要多一些。除此之外，基本上看不到DISTINCT和GROUP BY（没有聚集函数的情况）有什么区别，而且从执行效率上也看不到明显的差异;

distinct效率更高还是group by效率更高？

热门推荐

猾枭的博客

06-29

1万+

原创文章，希望多多关注支持，感谢。目录 00 结论 01 distinct的使用 02 group by的使用 03 distinct和group by原理 * 04 推荐group by的原因 00结论先说大致的结论（完整结论在文末）：在语义相同，有索引的情况下 group by和distinct都能使用索引，效率相同。在语义相同，无索引的情况下： distinct效率高于group by。原因是distinct 和 group by都会进行分组操作，但group by可能会进行排序，触发fil

Mysql中distinct与group by的去重方面的区别

12-14

3. `DISTINCT` 可以处理任何类型的查询结果，而 `GROUP BY` 更适合需要统计和分析数据的场景。 4. `DISTINCT` 适用于需要所有列都相同的去重，而 `GROUP BY` 可以根据任意列进行分组，即使这些列在其他列中有重复值...

MySQL中distinct与group by之间的性能进行比较

09-10

在MySQL数据库中，`DISTINCT` 和 `GROUP BY` 是两个用于数据去重的语句，但它们在功能和性能上有显著的区别。这次的测试主要比较了这两种方法在不同条件下的执行效率，尤其是在数据量较大的情况下。首先，`...

MySQL中distinct与group by语句的一些比较及用法讲解

09-10

在实际使用中，选择使用 `DISTINCT` 还是 `GROUP BY` 应该基于查询的目标。如果目标是去除重复行且不需要聚合，那么 `DISTINCT` 更合适；如果需要对数据进行分组统计，那么 `GROUP BY` 是正确的选择。同时，优化查询...

group by与distinct效率分析及优化措施

taoy86的博客

10-14

1673

mysql的distinct在结果集中，全部不同，才可以去重。所以，当我们进行去重处理的时候，需要单独对某列进行去重，可以使用group by子句进行分组去重 select _auto_id from account_login group by _auto_id; 该语句可以对_auto_id列进行去重。在使用group by进行去重效率分析无索引 0.23s mysql> explain select _auto_id from account_login group by _aut

MySQL学习-- Group by 和 Distinct 效率比较

qq_46447737的博客

03-22

449

Group by 和 Distinct 效率比较

MySQL 中的 distinct 和 group by 哪个效率更高

weixin_45817985的博客

03-13

691

MySQL 中的 distinct 和 group by 哪个效率更高

MySQL 中的 distinct 和 group by 哪个效率更高？

wys0127的博客

02-10

402

且由于distinct关键字会对所有字段生效，在进行复合业务处理时，group by的使用灵活性更高，group by能根据分组情况，对数据进行更为复杂的处理，例如通过having对数据进行过滤，或通过聚合函数对数据进行运算。两者的语法区别在于，group by可以进行单列去重，group by的原理是先对结果进行分组排序，然后返回每组中的第一条数据。但从Mysql8.0开始，Mysql就删除了隐式排序，所以，此时在语义相同，无索引的情况下，group by和distinct的执行效率也是近乎等价的。

MySQL中的 distinct 和 group by 去重效率区别

解决bug的路上

01-29

4617

mysql 过滤重复数据 group by和distinct

oracle之优化一中用group by优化distinct

fengfengfeifei的专栏

09-15

1万+

今天mentor给了一个sql语句优化的任务。（环境是sql developer）有一个语句执行很慢，查询出来的结果有17544条记录，但需970秒，速度很慢。语句是这样的：SELECT DISTINCT 'AMEND_NEW', repor

group by和distinct区别详解

qq_45450889的博客

01-13

652

今天在使用sql的查询所有关键字时候用到了group by，因为数据量比较大执行时间比较久所以又想到了distinct，想知道二者的区别是什么，哪个更快一些，于是我找度娘学习了一下。