使用Spark SQL创建包含结构类型列的DataFrame

使用Spark SQL创建包含结构类型列的DataFrame

在Spark中，Spark SQL是用于处理结构化数据的模块。它提供了一个SQL接口，用于查询和操作数据，同时还支持DataFrame API，用于以编程方式处理数据。在本文中，我将介绍如何使用Spark SQL创建一个包含结构类型列的DataFrame，并提供相应的源代码示例。

要创建包含结构类型列的DataFrame，首先需要定义结构类型，然后使用该结构类型定义数据列。接下来，我们将使用这些数据列创建一个DataFrame。下面是一个示例，演示如何执行这些步骤：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType