Spark DataFrame 转换为 Map 字典

在使用 Apache Spark 进行大规模数据处理和分析时，Spark DataFrame 是一种非常常用的数据结构。有时候，我们可能需要将 DataFrame 转换为 Map 字典的形式，以便于进行快速的键值查找和操作。本文将介绍如何使用 Spark 的 DataFrame API 将 DataFrame 转换为 Map 字典，并提供相应的源代码示例。

要将 Spark DataFrame 转换为 Map 字典，我们可以使用 DataFrame 的 collect 方法将其转换为一个包含所有行的数组。然后，我们可以遍历数组中的每一行，提取出键值对，并将其添加到一个新建的 Map 对象中。下面是一个示例代码，演示了如何完成这个转换过程：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.getOrCreate(