hive按照某个字段分组，然后获取每个分组中最新的n条数据

最新推荐文章于 2025-06-14 22:29:05 发布

原创最新推荐文章于 2025-06-14 22:29:05 发布 · 1.8w 阅读

8 ·

CC 4.0 BY-SA版权

HIVE（数据库仓库工具）专栏收录该内容

24 篇文章

订阅专栏

本文介绍使用Hive SQL处理广告流量数据的方法，重点在于如何利用ROW_NUMBER()函数结合分区和排序，筛选最新的广告曝光记录。通过具体SQL语句示例，展示了如何从tb_advert_flow_money表中按advertId分组并获取每组中最新的一条曝光数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive -e "
use db; 
select t.advertId,t.exposureNum from (
    select 
        advertId,
        exposureNum,
        ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS rn 
    FROM tb_advert_flow_money 
    where 
    ftype = 2
) t where t.rn=1;" > exposureInfo.txt;

解释说明：
ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS rn
表示通过 advertId 进行分区，然后在每个分区中按照时间降序排列结果。
ROW_NUMBER() 生成的时候通OVER（通过）(PARTITION BY advertId ORDER BY addTime desc) 这里面的结果生成行号

其中：

select 
    advertId,
    exposureNum,
    ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS rn 
FROM tb_advert_flow_money where ftype = 2

通过上面SQL生成的结果类似：
在这里插入图片描述

通过：

hive -e "
use db; 
select t.advertId,t.exposureNum from (
    select advertId,exposureNum,ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS rn 
    FROM tb_advert_flow_money where ftype = 2
) t where t.rn=1;" > exposureInfo.txt;

生成的数据为：
在这里插入图片描述