pyspark 遍历表

from pyspark.sql import SparkSession

创建SparkSession

spark = SparkSession.builder.appName(“example”).getOrCreate()

读取表

example_table = spark.read.table(“example_table”)

使用collect()方法遍历表

data = example_table.collect()
for row in data:
print(row)

使用foreach()方法遍历表

def process_row(row):
# 处理每一行数据的逻辑
pass
example_table.foreach(process_row)

关闭SparkSession

spark.stop()