pyspark入门系列 - 09 pyspark.sql.DataFrameNaFunctions

pyspark.sql.DataFrameNaFunctions()

DataFrame中处理缺失值的函数

drop(how=‘any’, thresh=None, subset=None)

返回删除含有空行的DataFrame，DataFrame.dropna()和DataFrameNaFunctions.drop()是彼此的别名。

• how：'any’or ‘all’. 'any’删除包含空值的行，'all’一行中全部为空则删除改行.
• thresh： int，默认值无如果指定，则删除小于thresh非空值的行。这将覆盖how参数
• subset：要考虑的可选列名称列表

fill(value, subset=None)

填充空值，na.fill(). DataFrame.fillna()和DataFrameNaFunctions.fill()是彼此的别名。

• value: int，long，float，string，bool或dict。用于替换空值的值。如果值是dict，则子集将被忽略，并且值必须是从列名（字符串）到替换值的映射。替换值必须是int，long，float，boolean或string
• subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略。

replace(to_replace, value=no value, subset=None)

返回替换后的新的DataFrame。DataFrame.replace()和DataFrameNaFunctions.replace()是彼此的别名。to_replace的value和value必须具有相同的类型，只能是numerics, booleans, or strings。value可以为空，替换时，新值将强制转换为现有列的类型

• to_replace – bool，int，long，float，string，list或dict。要替换的值，如果值是dict，则将忽略value或将其忽略，并且to_replace 必须是值和替换之间的映射
• value: bool，int，long，float，string，list或None。替换值必须是bool，int，long，float，string或None。如果value是一个列表，则value的长度和类型应与to_replace相同。如果value是一个标量，并且to_replace是一个序列，则使用value替换to_replace中的每个项目。
• subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略