Spark DataFrame 多行转多列

最新推荐文章于 2024-05-15 00:49:49 发布

wangpei1949

最新推荐文章于 2024-05-15 00:49:49 发布

阅读量5.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Spark Spark 文章标签： Spark DataFrame 多行转多列

本文链接：https://blog.youkuaiyun.com/wangpei1949/article/details/83337212

Spark 同时被 2 个专栏收录

29 篇文章

订阅专栏

Spark

28 篇文章

订阅专栏

本文介绍如何使用SparkDataFrame中的Pivot函数将多行数据转换为多列，通过具体示例展示用户对不同电影评分的数据处理过程，实现数据的宽格式化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Spark DataFrame中可以用Pivot函数将多行转成多列。

样本数据

每个用户对每部电影的评分。

数据格式：userID 用户ID,movieID 电影ID,rating评分

15,399,2
15,1401,5
15,1608,4
15,20,4
18,100,3
18,1401,3
18,399,1

Spark DataFrame 多行转多列

package com.bigData.spark

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession

/**
  * Author: Wang Pei
  * License: Copyright(c) Pei.Wang
  * Summary:
  *   多行转多列
  *
  */
object MultiLineToOneLine {
  def main(args: Array[String]): Unit = {

    /**设置日志*/
    Logger.getLogger("org").setLevel(Level.WARN)

    /**spark环境*/
    val spark = SparkSession.builder().appName(this.getClass.getSimpleName).master("local[3]").getOrCreate()
    import spark.implicits._

    /**DataFrame 数据格式:每个用户对每部电影的评分 userID 用户ID,movieID 电影ID,rating评分 */
    val df=spark.sparkContext.parallelize(Array(
      (15,399,2),
      (15,1401,5),
      (15,1608,4),
      (15,20,4),
      (18,100,3),
      (18,1401,3),
      (18,399,1)
    )).toDF("userID","movieID","rating")

    /** pivot 多行转多列*/
    val resultDF = df.groupBy($"userID").pivot("movieID").sum("rating").na.fill(-1)

    /**结果*/
    resultDF.show(false)

    /* 
      +------+---+---+---+----+----+
      |userID|20 |100|399|1401|1608|
      +------+---+---+---+----+----+
      |15    |4  |-1 |2  |5   |4   |
      |18    |-1 |3  |1  |3   |-1  |
      +------+---+---+---+----+----+
     */

  }

}