pyspark 遍历表数据 返回对象list

from pyspark.sql import SparkSession

创建SparkSession

spark = SparkSession.builder.appName(“example”).getOrCreate()

读取表

example_table = spark.read.table(“example_table”)

使用collect()方法将表中的数据收集到驱动程序中

data = example_table.collect()

将收集到的数据转换为列表

data_list = [row.asDict() for row in data]
print(data_list)

关闭SparkSession

spark.stop()