Spark DataFrame中rollup和cube使用

Spark DataFrame中rollup和cube使用

我们平时在做报表的时候，经常会有各种分维度的汇总计算，在spark中我们最常用的就是groupBy操作，groupBy就是按照给定的字段名分组，后面接sum、count、avg等聚合操作；在spark中也提供了rollup、cube这样的分组函数，接下来本文就以一个实例展示一下这两个函数的作用。
我们先来看个需求：下面的表是某公司最近两年在全国各地的销售额，我们想要知道xiang华北地区的销售情况、北京地区的销售情况等，我们使用两次Groupby操作就能得到结果，也可以使用rollup实现聚合结果

  // 加载销售额数据
  val salesDF = spark.read .csv(inputFile)

rollup的使用：

rollup($“area”, $“regional”, $“year”) 会先按照 area、regional、year分组；然后按照area、regional分组、然后再按照area分组，最后进行全表分组。后面接聚合函数，此处使用的是sum

 salesDF.rollup($"area", $"regional", $"year")
.sum("sales")

rollup之后的结果查看：

---

cube的使用

cube就更厉害了 salesDF.cube($“area”, $“regional”, $“year”) ；cube 会先按照（area、regional、yea）分组；然后是 （area、regional ）、（area、year ）、（area ）、（regional、year ）、（ regiona ）、（year ）分组；最后进行全表分组。

    salesDF.cube($"area", $"regional", $"year")  .sum("sales")

cube结果：