pyspark读写hdfs，parquet文件

最新推荐文章于 2024-07-29 17:54:27 发布

原创最新推荐文章于 2024-07-29 17:54:27 发布 · 5.9k 阅读

4 ·

CC 4.0 BY-SA版权

pyspark 专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何利用PySpark读取HDFS上的Parquet格式数据，并将其写入指定路径，涵盖SparkSession的创建、数据读写等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#-*- coding:utf-8 -*-
import  json
from pyspark.sql import SparkSession
#连接集群
spark = SparkSession.builder.master("yarn-client").appName("test").getOrCreate()
#读取数据，数据位置‘hdfs://bd01:8020/a/b/part*.parquet’
df=spark.read.format('parquet').load('hdfs://bd01:8020/a/b/part*.parquet')
print df.show()
#写数据到‘data_result_path’位置，overwrite方式可更改
data.write.mode('overwrite').parquet(data_result_path)

df：
在这里插入图片描述