pyspark入门系列 - 09 pyspark.sql.DataFrameNaFunctions

本文详细介绍了PySpark DataFrame中的Na函数,包括drop、fill和replace,这些函数用于处理DataFrame中的缺失值。drop函数允许删除包含空值的行,fill函数用于填充空值,而replace函数则用于替换DataFrame中的特定值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

pyspark.sql.DataFrameNaFunctions()

DataFrame中处理缺失值的函数

drop(how=‘any’, thresh=None, subset=None)

返回删除含有空行的DataFrame,DataFrame.dropna()和DataFrameNaFunctions.drop()是彼此的别名。

  • how:'any’or ‘all’. 'any’删除包含空值的行,'all’一行中全部为空则删除改行.
  • thresh: int,默认值无如果指定,则删除小于thresh非空值的行。这将覆盖how参数
  • subset:要考虑的可选列名称列表

fill(value, subset=None)

填充空值,na.fill(). DataFrame.fillna()和DataFrameNaFunctions.fill()是彼此的别名。

  • value: int,long,float,string,bool或dict。用于替换空值的值。如果值是dict,则子集将被忽略,并且值必须是从列名(字符串)到替换值的映射。替换值必须是int,long,float,boolean或string
  • subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略。

replace(to_replace, value=no value, subset=None)

返回替换后的新的DataFrame。DataFrame.replace()和DataFrameNaFunctions.replace()是彼此的别名。to_replace的value和value必须具有相同的类型,只能是numerics, booleans, or strings。value可以为空,替换时,新值将强制转换为现有列的类型

  • to_replace – bool,int,long,float,string,list或dict。要替换的值,如果值是dict,则将忽略value或将其忽略,并且to_replace 必须是值和替换之间的映射
  • value: bool,int,long,float,string,list或None。替换值必须是bool,int,long,float,string或None。如果value是一个列表,则value的长度和类型应与to_replace相同。如果value是一个标量,并且to_replace是一个序列,则使用value替换to_replace中的每个项目。
  • subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值