30、Spark DataFrame数据加载与处理实战

Spark DataFrame数据加载与处理实战

在数据处理和分析领域，Spark的DataFrame API为我们提供了一个统一的接口，能够处理各种来源的数据。本文将详细介绍如何使用Scala case类创建DataFrame，以及如何处理超过22个特征的数据集和加载JSON数据到DataFrame中。

从Scala case类创建DataFrame

我们可以使用Scala case类创建新的DataFrame，具体步骤如下：
1. 定义Employee类 ：创建一个包含 id 和 name 字段的 Employee case类，并创建 SparkContext 和 SQLContext 。

case class Employee(id:Int, name:String)
val conf = new SparkConf().setAppName("colRowDataFrame").setMaster("local[2]")
val sc = new SparkContext(conf)
val sqlContext=new SQLContext(sc)

2. 构建员工列表 ：构造一个 Employee 对象的列表。