hive中distinct和group by

最新推荐文章于 2025-07-11 09:00:00 发布
最新推荐文章于 2025-07-11 09:00:00 发布
阅读量1.9k 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： hive学习 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29425617/article/details/80934613
本文探讨了两种SQL计数方法：COUNT(DISTINCT)与GROUP BY配合COUNT(*)使用。前者适用于小数据集，后者则更适合大数据集，通过设置reduce任务数量可以进一步优化执行效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SELECT COUNT(DISTINCT USER_ID) FROM STU

上述sql会将所有USER_ID都shuffle到一个reduce中，如果数据量很大时，速度会变慢。


SELECT COUNT(*) FROM （SELECT USER_ID FROM STU GROUP BY USER_ID）

上述sql会根据group by 分组的结果产生多个reduce，然后并行执行，数据量很大时速度会变快。

我们也可以设置参数来规定多少个reduce

set mapred.reduce.tasks=100； // 设置reduce个数为100

结论：当数据量不大时推荐使用distinct,数据量大时使用group by


Hive去重：distinct与group by
张之海的博客
06-02 2916
Hive对数据去重有两种方法：(1) distinct (2) group by 本文介绍distinct、group by在去重时底层的执行逻辑、数据处理原理，并介绍在不同场景下，应采用哪种方法去重。
Hive 去重性能对比：GROUP BY vs DISTINCT
2401_83088008的博客
03-16 949
在无聚合函数的去重场景下，GROUP BY 的性能显著优于 DISTINCT，因为它可以直接在 Map 端完成去重操作，减少了数据传输和处理开销。在需要进行聚合计算的场景下，GROUP BY 是唯一的选择，并且可以通过开启 Map 端聚合功能来优化性能。数据倾斜是 Hive 性能优化中需要重点关注的问题，可以通过 DISTRIBUTE BY 语句、添加随机前缀和使用分桶表等方法来缓解数据倾斜问题。
hive里的group by和distinct
weixin_33850890的博客
10-23 240
hive里的group by和distinct 前言 今天才明确知道group by实际上还是有去重读作用的，其实细想一下，按照xx分类，肯定相同的就算是一类了，也就相当于去重来，详细的看一下。 group by 看一下实例1： hive> select * from test; OK zhao 15 20170807 zhao 14 20170809 zhao 1...
Hive SQL 三大利器：Cross Join、insert overwrite、select distinct 实战详解
最新发布
XDLYSJ的博客
07-11 2434
Hive数据处理中三大核心操作解析：CrossJoin适用于生成全量维度组合（如地区-月份），但需警惕数据量爆炸；insertoverwrite是数据重写利器，可实现全量更新和分区覆盖，建议配合备份和动态分区使用；selectdistinct是精准去重工具，大数据量时推荐改用GROUP BY或ROW_NUMBER优化性能。三大操作协同使用可显著提升ETL效率，但需根据业务场景合理选用，并注意性能优化与数据安全。掌握这些技巧将帮助开发者在Hive数据处理中游刃有余。
hive中distinct和group by优化
小白学编程
04-28 5355
1、避免使用count distinct ,容易引起性能问题 select distinct(user_id) from a ; 由于必须去重，因此Hive会把map阶段的输出全部分布到一个reduce task中，容易引起性能问题，可以通过先group by ,再count得方式进行优化 优化后：select count(*) from( select user_id from a group ...
hive group by 和 distinct
m0_62739609的博客
05-19 420
避免使用count distinct ,容易引起性能问题 select distinct(user_id) from a ; 由于必须去重，因此Hive会把map阶段的输出全部分布到一个reduce task中，容易引起性能问题，可以通过先group by ,再count得方式进行优化 优化后：select count(*) from( select user_id from a group by user_id )tmp ...
Hive中笔记 ：三种去重方法，distinct,group by与ROW_Number()窗口函数
weixin_30938149的博客
11-21 5902
一、distinct,group by与ROW_Number()窗口函数使用方法 1. Distinct用法：对select 后面所有字段去重，并不能只对一列去重。 （1）当distinct应用到多个字段的时候，distinct必须放在开头，其应用的范围是其后面的所有字段，而不只是紧挨着它的一个字段，而且distinct只能放到所有字段的前面 （2）distinct对NULL是不进...
hive中distinct和group by的效率
05-05
在Hive中，DISTINCT和GROUP BY都可以用于去重，但它们的执行方式和效率略有不同。 DISTINCT操作会将所有数据都读入内存中进行去重，因此适用于数据量不大的情况。它的效率较高，但会占用较多的内存资源。如果数据量...
hive中distinct和group by哪个性能更高
06-02
在Hive中，distinct和group by的性能也是不同的。一般来说，在需要对数据分组并进行聚合计算时，使用group by会比distinct更高效，因为group by可以利用MapReduce的并行计算能力，同时还可以使用Combiner来优化计算...
hive中distinct与group by 的区别
04-18
Distinct和Group by都是用在聚合查询中的，但它们的作用却不相同。 Distinct用在查询后面，可以用来去重。比如说： SELECT DISTINCT name FROM student; 这条语句会返回学生表中所有不同的名字。 Group by则是...
Hive数据去重的两种方式：DISTINCT与GROUP BY
My_wife_QBL的博客
07-30 1538
在Hive的数据分析与处理过程中，去重操作是确保数据质量的关键步骤。DISTINCT和GROUP BY是实现数据去重的两种主要方法，各自具有不同的特点和使用场景。DISTINCT适用于简单去重，尤其在数据量较小的情况下表现良好。GROUP BY则更适合于需要进行聚合分析的大型数据集，并且在性能上通常更具优势。通过了解这两种方法的基本概念、使用场景和性能比较，数据分析师和工程师可以根据具体的需求选择合适的去重策略，从而提高数据处理效率和分析的准确性。在实际应用中，结合最佳实践，灵活运用DISTINCT与。
hive中Distinct和group by去重的对比
XMZHSY的博客
06-09 2697
在Hive中， DISTINCT和GROUP BY都可以用于去重，但是它们背后的实现方式是不同的，因此它们的效率也是不同的。GROUP BY会按照指定的逻辑条件将数据分组，并对每个分组进行统计，最后将分组的结果集合并在一起。DISTINCT是一种去重方法，它会扫描整个数据集，然后将重复的记录删除，只留下唯一的记录。GROUP BY也可以用于去重，但与DISTINCT不同，它可以在数据流中即时地进行去重处理，因此它的。GROUP BY 查询对空间的需求较小，因为其底层数据结构已经是去重的，因此可以。
Hive三种去重方法，distinct,group by与ROW_Number()窗口函数
u011250186的博客
02-10 5847
订阅专栏 一、distinct,group by与ROW_Number()窗口函数使用方法 1. Distinct用法：对select 后面所有字段去重，并不能只对一列去重。 （1）当distinct应用到多个字段的时候，distinct必须放在开头，其应用的范围是其后面的所有字段，而不只是紧挨着它的一个字段，而且distinct只能放到所有字段的前面 （2）distinct对NULL是不进行过滤的，即返回的结果中是包含NULL值的 （3）聚合函数中的DISTINCT,如 COUNT( ) 会过滤掉为.
Hive中distinct和Group by效率对比及处理方式
热门推荐
Liu_Arvin的芝士小栈
08-01 1万+
Hive中distinct和group by效率对比，及处理方式
Hive中distinct和group by去重性能对比
TomAndersen的博客
05-29 740
前言 操作系统：CentOS 7 hadoop：2.7.7 hive：2.3.0 实验目的：本文主要测试在某字段各种不同值个数情况下，记录对此字段其使用DISTINCT/GROUP BY去重的查询语句执行时间，对比两者在不同场景下的去重性能 实验表格： 表名 记录数 查询字段不同值个数 DISTINCT GROUP BY tab_1 100000 3 tab_2 100000 10000 实验过程 1）创建测试用表 drop table if exists tab_1;
Mysql Hive中distinct 和 group by 效率
qq_41982570的博客
02-22 1357
Mysql Hive中distinct 和 group by 效率
HIVE Group by、join、distinct等实现原理
01-09 258
转自： Hive – Distinct 的实现：http://ju.outofmemory.cn/entry/784 Hive – Group By 的实现：http://ju.outofmemory.cn/entry/785 Hive – JOIN实现过程：http://ju.outofmemory.cn/entry/786 hive 结合执行计划 分析 limit 执行...
hive group by | distinct区别以及性能比较
TriumPhSk的博客
06-16 2061
select distinct a from t1; select a from t1 group by a; 低版本hive 执行计划： # distinct Stage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS # group by Stage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 1
sql：hive：mysql：group by与distinct 去重
不花的花和尚的博客
06-17 1256
源数据（mysql） id userid subject score 1 001 语文 90.0 2 001 数学 92.0 3 001 英语 80.0 4 002 语文 88.0 5 002 数学 90.0 6 002 英语 75.5 7 003 语文 70.0 8 003 数学 85.0 9 003 英语 90.0 10 003 政治 82.0 11 001 语文 91.0 12 001 语文 92.0 源数据（hive） C1 C2 C3 C4.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值