pyspark dataframe 字段类型转换 pandas和pyspark的dataframe互转

木给哇啦丶

于 2020-04-16 18:35:43 发布

阅读量4.2k

点赞数 2

分类专栏： pyspark 文章标签： spark python

本文链接：https://blog.youkuaiyun.com/lquarius/article/details/105564412

版权

本文介绍了如何使用Pyspark读取CSV文件，并进行字段类型转换，包括使用fillna()填充空值。同时，讨论了Pyspark与Pandas DataFrame之间的类型转换方法，以及如何在两者之间进行数据互转。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

知识点：

1、使用pyspark读取csv：spark.read.format("csv").load('/user/data.csv',header=True, inferSchema="true")

2、dataframe补充空值：fillna()

3、dataframe字段表示方式："APP_HOBY_CASH_LOAN"或df.APP_HOBY_CASH_LOAN或data_df["APP_HOBY_CASH_LOAN"]

pyspark dataframe使用astype实现dataframe字段类型转换

# 两种读取csv文件的方式
data_df = spark.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load("/user/data.csv")
data_df = spark.read.format("csv").load('/user/data.csv',header=True, inferSchema="true")
# 补充空值方法
data_df = data_df.fillna(0)
# 打印表结构 第一种执行较快
print(df_from_java.columns)
data_df.printSchema()
print(df_fr

最低0.47元/天解锁文章