解决Spark窗口统计函数rank()、row_number()、percent_rank()的OOM问题

目录

1.    窗口函数功能介绍

一个简单的例子

一个复杂的例子

2.数据量过大时的OOM问题

问题及原因

解决方法1：用SQL处理

解决方法2：转为rdd进行处理

解决方法3：将数据量过多的分组进行随机打散，从而近似排序

---

1.    窗口函数功能介绍

在利用Spark SQL按分组统计每个组内topN，或者相对某个指标归一化到[0,1]区间上时，可以使用spark的窗口函数：
(1)    rank:  分数相同的行，排序编号也一致。当有2行数据排序并列第一时，它们的编号都是1，排第三的编号是3
(2)    dense_rank：分数相同的行，排序编号也一致。当有2行数据排序并列第一时，它们的编号都是1，排第三的编号是2
(3)    row_number: 每一行的编号唯一，当有2行数据相同时，随机分配编号
(4)    percent_rank：结果可以视作为rank()的结果，除以最大的编号

一个简单的例子

package high_quality._history

import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.Window

object test {

  def main(args: Array[String]) {

    val spark = SparkSession.builder().master("local[2]").appName("test").config("spark.hadoop.validateOutputSpecs", "false").getOrCreate()
    import spark.implicits._

    Seq("22", "27", "37", "47", "57")
      .toDF("x1")
      .withColumn("x2", percent_rank().over(Window.orderBy($"x1"))).show()
  }
}

结果为：

一个复杂的例子

假设有数据如下表（例子转自https://blog.youkuaiyun.com/kwame211/article/details/81325261）：