大数据中hive sql两种排重方法 group by嵌套与row_number() over() 而不能用distinct

最新推荐文章于 2025-05-29 08:00:00 发布

wenfei1997

最新推荐文章于 2025-05-29 08:00:00 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

文章标签： hive 大数据 mysql 数据库 hadoop

本文链接：https://blog.youkuaiyun.com/wenfei1997/article/details/107973306

在大数据处理中，HiveSQL提供了两种高效排重方法，避免使用资源密集型的DISTINCT操作。一种是通过GROUP BY嵌套查询实现，另一种则利用ROW_NUMBER() OVER()进行排重，特别适用于处理UNION ALL产生的重复记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据中hive sql两种排重方法 group by嵌套与row_number() over() 而不能用distinct

在hive中，面对的是分布式集群的海量数据，使用distinct会非常消耗资源（运行时间很很长且占用计算资源），所以不能用distinct。
（同样的，在使用count计数时，应该用count(1)而不是count(*)）

需要排重的情况：使用union all时，会出现重复的记录。为什么不适用union呢？可能是消耗资源或遗漏数据吗?

方法1：使用select + group by 嵌套查询

如

Select column1,column2,…columnn
from
(select column1,column2,…column
   From tbl1
   Union all
select column1,column2,…columnn
   From tbl2) t1
Group by column1,column2,…columnn

方法2：使用row_number() over() as rn + where rn=1 嵌套查询

如：


```sql
select column1,column2
from (
     select t1.*, row_number() over(partition by(column1,column2       ),order by dt desc ) as rn
    from
           (Select column1,column2
           from
           (select column1,column2、
            From tbl1
            Union all
            select column1,column2,…column
            From tbl2) t1
     Group by column1,column2,…columnn
) t2
where rn=1;