Pandas 基础（5） —— 处理缺失数据及层次化索引

最新推荐文章于 2025-07-02 10:06:04 发布

wohu007

最新推荐文章于 2025-07-02 10:06:04 发布

阅读量268

点赞数

CC 4.0 BY-SA版权

分类专栏： # 标准库和三方库文章标签： Pandas

本文链接：https://blog.youkuaiyun.com/wohu1104/article/details/94591245

标准库和三方库专栏收录该内容

27 篇文章

订阅专栏

本文详细介绍如何使用Python的Pandas库处理数据集中的缺失值。包括使用NaN和None表示缺失数据，通过isnull和notnull方法检测缺失值，利用dropna方法滤除或保留部分数据，以及使用fillna方法填充缺失值。适用于数据预处理和清洗任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

处理缺失数据

pandas 使用浮点值 NaN （Not a Number）表示浮点和非浮点数组中的缺失数据。它只是一个便于被检测出来的标记而已。

In [168]: data = Series(['a','b',np.nan,'d'])

In [169]: data
Out[169]: 
0      a
1      b
2    NaN
3      d
dtype: object

In [170]: data.isnull()
Out[170]: 
0    False
1    False
2     True
3    False
dtype: bool

Python 内置的 None 值也会被当做 NA 处理：

In [171]: data[0] = None

In [172]: data.isnull()
Out[172]: 
0     True
1    False
2     True
3    False
dtype: bool

NA处理方法

滤除缺失数据

对于 Series，dropna 返回一个仅含非空数据和索引值的 Series：

In [173]: data
Out[173]: 
0    None
1       b
2     NaN
3       d
dtype: object

In [174]: data.dropna()
Out[174]: 
1    b
3    d
dtype: object
# 也可以通过布尔型索引达到这个目的
In [175]: data[data.notnull()]
Out[175]: 
1    b
3    d
dtype: object

而对于 DataFrame 对象，稍微有点复杂，dropna 默认会丢弃任何含有缺失值的行：

In [176]: data = DataFrame([[1,2,3],[1,np.nan,np.nan],
     ...: [np.nan,np.nan,np.nan],[np.nan,4,5]])

In [177]: cleaned = data.dropna()

In [178]: data
Out[178]: 
     0    1    2
0  1.0  2.0  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  4.0  5.0

In [179]: cleaned
Out[179]: 
     0    1    2
0  1.0  2.0  3.0

# 传入 how='all' 将只丢弃全为 NA 的那些行
In [181]: data.dropna(how='all')
Out[181]: 
     0    1    2
0  1.0  2.0  3.0
1  1.0  NaN  NaN
3  NaN  4.0  5.0

要丢弃列，需要传入 axis=1，表示在列上生效：

In [183]: data[4] = np.nan

In [184]: data
Out[184]: 
     0    1    2   4
0  1.0  2.0  3.0 NaN
1  1.0  NaN  NaN NaN
2  NaN  NaN  NaN NaN
3  NaN  4.0  5.0 NaN

In [185]: data.dropna(axis=1,how='all')
Out[185]: 
     0    1    2
0  1.0  2.0  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  4.0  5.0

填充缺失数据

要填充缺失的数据，主要使用 fillna 方法，通过调用 fillna(Number) 就会将缺失值替换为 Number 数值。

In [186]: df
Out[186]: 
   one  two
a  1.0  NaN
b  2.0  3.0
c  NaN  NaN
d  0.0  2.0

In [187]: df.fillna(100)
Out[187]: 
     one    two
a    1.0  100.0
b    2.0    3.0
c  100.0  100.0
d    0.0    2.0
# fillna 默认会返回新对象，但是传入 inplace=True 会对原有对象进行就地修改
In [188]: df.fillna(200,inplace=True)

In [189]: df
Out[189]: 
     one    two
a    1.0  200.0
b    2.0    3.0
c  200.0  200.0
d    0.0    2.0