【Hive、Spark Sql中为什么说group by是distinct的优化？】

最新推荐文章于 2025-03-13 14:31:27 发布

学庭

最新推荐文章于 2025-03-13 14:31:27 发布

阅读量3k

点赞数 1

分类专栏： Spark 文章标签： hive spark sql

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/Kruskual/article/details/121957027

版权

Spark 专栏收录该内容

6 篇文章

订阅专栏

这篇博客深入探讨了Hive和SparkSql中groupby与distinct操作的底层逻辑。通过分析LogicalPlan，揭示了distinct在优化过程中实际上转化为groupby的实现方式。这一转换表明，groupby在某些情况下可能是distinct的更优选择，特别是在大数据处理场景下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive、Spark Sql中为什么说group by是distinct的优化？

用LogicalPlan带你一探究竟

用LogicalPlan带你一探究竟

无论是Hive还是SparkSql都会生成LogicalPlan，PhysicalPlan只要我们明白了他在底层如何转换如何优化的就能知道group by和distinct有何区别。

group by

sql: “select name from student group by name”
在这里插入图片描述

distinct

sql：“select distinct name from student”

在这里插入图片描述

看图说话

我们会发现distinct的逻辑计划在底层生成的优化后的逻辑化转换成了group by的逻辑计划

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。