Spark实用议题系列（01）--- 手动创建DataFrame的两个方法

最新推荐文章于 2025-05-24 13:33:46 发布

原创

最新推荐文章于 2025-05-24 13:33:46 发布 · 839 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#Scala #DataFrame #Spark

本文探讨Spark中手动创建DataFrame的两种主要方法：toDF()和基于case class。toDF()方法允许显式设置字段类型，支持null值，而case class方法通过定义数据类型提供更结构化的定义。两者都是通过Seq对象调用toDF()，区别在于数据类型和字段定义方式。此外，还揭示了toDF()实际上是通过toDS()转化的内部机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Medium上的一篇文章介绍了三种方法手动创建DataFrame，链接是“Different approaches to manually create Spark DataFrames”。

其中的第二种方法使用了createDataFrame()函数，而实际上是从RDD转换到DataFrame。个人感觉这种方法对于全面基于Spark SQL的实现不太合适。
而第三种方法的CreateDF()函数包含了她自己的Spark库，官方Spark中并没有。
实际上，第一种方法toDF()是最方便的。虽然缺乏对字段Schema是否nullable的定义，但还是可以显式地设置字段的类型，从而很好地支持null值的初始化。

1. toDF()方法的深入理解

toDF()方法的使用非常直接，只需用Seq对象来包含每一行的数据定义。请看例子：

val EmployeeDF = Seq[(String, Integer)](
  ("Rafferty", 31),
  ("Timothy", 32),
  ("Jones", 33),
  ("Heisenberg", 33),
  ("Robinson", 34),
  ("Smith", 34),
  ("Williams", null)
).toDF("LastName", "DepartmentID")

val DepartmentDF = Seq[(Integer, String)](
  (31, "Sales"),
  (33, "Engineering"),
  (34, "Clerical"),
  (35, "Marketing")  
).toDF("DepartmentID