Spark：DataFrame数据透视函数pivot

最新推荐文章于 2023-07-25 13:40:49 发布

转载最新推荐文章于 2023-07-25 13:40:49 发布 · 312 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xuejianbest/p/10285005.html

文章标签：

#大数据

本文介绍如何使用Spark SQL中的Pivot函数对数据集进行汇总操作，通过实例展示了如何将原始数据按年份和月份分组，并计算每个月的数值总和，最终形成透视表形式的数据展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用数据透视函数pivot：

val list = List(
  (2017, 1, 100), 
  (2017, 1, 50), 
  (2017, 2, 100), 
  (2017, 3, 50), 
  (2018, 2, 200), 
  (2018, 2, 100))
import spark.implicits._
val ds = spark.createDataset(list)
val df = ds.toDF("year", "month", "num")
val res:org.apache.spark.sql.DataFrame = 
  df.groupBy("year")
    .pivot("month")
    .sum("num")

df.show
+----+-----+---+
|year|month|num|
+----+-----+---+
|2017|    1|100|
|2017|    1| 50|
|2017|    2|100|
|2017|    3| 50|
|2018|    2|200|
|2018|    2|100|
+----+-----+---+

res.show
+----+----+---+----+
|year|   1|  2|   3|
+----+----+---+----+
|2018|null|300|null|
|2017| 150|100|  50|
+----+----+---+----+