sparkSql分组求top值

上篇文章中介绍了使用JAVA版本的分组求top值，下面介绍一下使用sparkSql分组求top

1.首先准备源数据

datasetMarket=spark.read.parquet("basePath").select("学校", "班级","成绩")

2.创建临时视图

在获取源数据之后，对数据创建临时视图，格式如下：

datasetMarket.createTempView("groupTop")

3.核心语句，分组top值

spark.sql(select "学校, 班级,成绩 from (select 学校, 班级,成绩, row_number() 

over(partition by 学校, 班级 order by 成绩 desc) as rowNumber from groupTop) as rn where rn.rowNumber>=50")

以上就是使用sparkSql分组求解top的方法，我们可以看到使用此方法与上次的方式基本上一致的，唯一不同之处该方法需要创建义哥临时视图。