Pandas常见方法(5)-DataFrame逐列填补Nan值

说明:本blog基于python3版本, pandas 1.3.5

文章目录


前言

我们在日常工作中,拿到第一手的数据集通常有很多nan值;

本文介绍一种根据DataFrame2 来 逐列填补DataFrame1 中nan 值的方法,
公式: DataFrame1.combine_first(DataFrame2), 返回一个DataFrame1和DataFrame2 长度,宽度分别取DataFrame1和DataFrame2最大值的新的DataFrame

代码实例

import pandas as pd
import numpy as np
a = pd.DataFrame([[1,3,np.nan,9],
				  [np.nan, 89,76,26]], index = ["a","b"])
b = pd.DataFrame([[1,3,9],
				  [22, 8,0],
				  [77, np.nan,80]], index = ["a","c","f"])
print(a)
print(b)
c = a.combine_first(b)
print(c)			  

结果如下,

     0   1     2   3
a  1.0   3   NaN   9
b  NaN  89  76.0  26
    0    1   2
a   1  3.0   9
c  22  8.0   0
f  77  NaN  80
      0     1     2     3
a   1.0   3.0   9.0   9.0
b   NaN  89.0  76.0  26.0
c  22.0   8.0   0.0   NaN
f  77.0   NaN  80.0   NaN

由此可知, a 和 b 生成的新的Dataframe 是一个长宽分别为4,4的二维数据

### 如何用 Python Pandas 替换 DataFrame NaN 单元格 在处理 `pandas` 的 `DataFrame` 时,经常会遇到缺失(即 `NaN` )。为了确保数据分析的有效性和准确性,可以采用多种方式来填充这些缺失。 #### 使用 fillna 方法 最常用的方式之一是利用 `fillna()` 函数。此函数允许指定一个特定的数、字典或序作为填补依据[^1]: ```python import pandas as pd import numpy as np # 创建带有 NaN 的数据框 df = pd.DataFrame({ 'A': [1, 2, None], 'B': [None, 5, 6], }) # 将所有的 NaN 替换为常量 0 filled_df = df.fillna(0) print(filled_df) ``` 对于更复杂的情况,比如按不同设置不同的默认,则可以通过传递字典给 `value` 参数实现个性化替换: ```python # 不同使用不同的填充 custom_fill = {'A': 100, 'B': 200} filled_custom_df = df.fillna(custom_fill) print(filled_custom_df) ``` #### 使用 interpolate 方法进行插计算 如果希望基于现有数据点之间线性或其他形式的趋势来进行预测性的填充,那么可以选择调用 `interpolate()` 方法: ```python # 插入中间以估计并替代 NaN interpolated_df = df.interpolate() print(interpolated_df) ``` 这种方法特别适用于时间序分析等场景下,其中连续观测之间的关系较为稳定可预期。 #### 结合条件逻辑判断 有时可能需要根据某些业务规则决定如何处理缺失。此时可以在遍历过程中加入自定义逻辑,并通过 `apply()` 或者其他迭代器完成特殊需求下的赋操作[^4]。 ```python def custom_replace(x): if pd.isna(x['A']): return x['B'] * 2 # 示例:当 A 是 NaN 时,取 B 的两倍代替 else: return x['A'] df['A'] = df.apply(custom_replace, axis=1) ``` 上述方法提供了几种常见的解决策略用于应对 `DataFrame` 中存在的 `NaN` 数据问题。具体应用哪种取决于实际项目的需求以及所涉及的具体情况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Efred.D

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值