Spark SQL函数之分组排序

最新推荐文章于 2025-06-25 00:06:56 发布

原创最新推荐文章于 2025-06-25 00:06:56 发布 · 6.8k 阅读

1 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了在Spark SQL中如何根据class进行分组，并对组内的age进行排序。通过使用row_number()窗口函数，可以实现分组内年龄的排序，但需要注意的是，如果后续使用GROUP BY操作，可能会导致排序失效，因为数据在分布式计算过程中可能会被打乱。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：根据class分组对组内的age进行排序

原表

结果

Spark SQL :
SELECT name, age, class,  row_number() over(partition by age order byclass) as RE FROM A

默认会把同一分组的age最大放到第一位，并且设置RE=1，以此类推

注意事项：

SELECT first(name) as name FROM
(
        SELECT name, age, class,  row_number() over(partition by age order by class) as RE FROM A
) B group by class
以上SQL不会得到年龄最大的人

原因推测（未阅读源码，本人推测）

SELECT name, age, class,  row_number() over(partition by age order byclass) as RE FROM A 本句SQL虽然把结果排序了，但是再次进行Group   By的时候把原来的数据重新打乱了。

看下图：

分组排序的时候把同组数据发送到服务器A上，只有GROUP BY刚好在服务器A上读取数据，最终结果才是有序的