spark将dataframe中的字段转成一列

原创已于 2023-12-09 13:03:53 修改 · 500 阅读

11 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许，不得转载！！

文章标签：

#spark #大数据 #分布式

于 2023-12-08 16:25:48 首次发布

基于Spark对时空轨迹数据处理分析方法专栏收录该内容

21 篇文章

订阅专栏

文章介绍了如何在ApacheSparkDataFrame中使用explode和collect_list函数，将DataFrame的多列数据合并到单列中，以便于展示和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


import org.apache.spark.sql.functions._
import org.apache.spark.sql.DataFrame

val exampleDF = Seq(("A", 1, "X"), ("B", 2, "Y"), ("C", 3, "Z")).toDF("col1", "col2", "col3")

// 使用函数explode和collect_list将多列合并成一列
val columnsAsRows = exampleDF.select(explode(array(exampleDF.columns.map(col): _*)).as("BP"))

// 显示生成的新DataFrame
columnsAsRows.show()

待补充