pyspark

最新推荐文章于 2024-11-28 11:38:04 发布

lx__angel

最新推荐文章于 2024-11-28 11:38:04 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： spark big data hadoop linux hdfs

本文链接：https://blog.youkuaiyun.com/lx__angel/article/details/121867007

Python 专栏收录该内容

7 篇文章

订阅专栏

from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").appName("test").config("spark.sql.legacy.timeParserPolicy", "LEGACY").getOrCreate()
df = spark.read.option("nullValue", "\\N").parquet(f"file:///tmp/part-00000-350aa82b-83d2-49f9-b32b-32c4a5dba83f-c000.gz.parquet")
df.show()