Spark 如何生成一个空的DataFrame

最新推荐文章于 2025-07-21 00:37:42 发布

转载最新推荐文章于 2025-07-21 00:37:42 发布 · 2.7k 阅读

博客主要探讨Spark如何生成空的DataFrame，存在两种情况，一是无列的空DataFrame，二是有列的空DataFrame，其中有列的情况更实用，还给出了参考微博链接。

@羲凡——只为了更好的活着
Spark 如何生成一个空的DataFrame
Q：Spark如何生成一个空的DataFrame

A：有两种情况，一种是没有列的DataFrame，一种是有列的DataFrame，情况2最实用
情况1.生成一个无列的空DataFrame

val df = spark.emptyDataFrame

情况2.生成一个有列的空DataFrame

// 生成一个空的三列DataFrame
val schema = StructType(
  Seq(
    StructField("lie1", StringType, true),
    StructField("lie2", StringType, true),
    StructField("lie3", StringType, true)))
val df = spark.createDataFrame(sc.emptyRDD[Row], schema)
12345