Spark如何把NA设置为-1

本文介绍如何使用Apache Spark中的DataFrame API来处理缺失值。通过具体的示例代码展示如何使用na.fill方法来替换指定列的null值。不仅可以为特定类型的列(如String或Numeric)设置默认值,还可以为Boolean类型的列进行缺失值填充。
masterDF = masterDF.na.fill(-1)

其它:

也可以在fill中使用Map,其中key是列名,value可以是Int, Long, Float, Double, String, Boolean.

masterDF.na.fill(masterDF.columns.map(_ -> false).toMap)

来自:

https://stackoverflow.com/questions/51073493/spark-dataframe-na-fill-boolean-column-type

* For example, the following replaces null values in column "A" with string "unknown", and
* null values in column "B" with numeric value 1.0.
* {{{
*   df.na.fill(Map(
*     "A" -> "unknown",
*     "B" -> 1.0
*   ))
* }}}

https://stackoverflow.com/questions/44671597/how-to-replace-null-values-with-a-specific-value-in-dataframe-using-spark-in-jav/44671923

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值