《利用python进行数据分析》之数据清洗

本文详细介绍如何在数据分析中处理缺失值,包括使用pandas库的dropna和fillna方法,以及通过replace方法替换特定值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

(一)、处理缺失值:
在进行数据分析和建模的过程中,大量的时间会花在数据准备上:加载、清理、转换以及重塑。因此,掌握了正确、高效的完成数据准备的方式会使得我们的工作效率更高。缺失数据在pandas中呈现的方式有些不完美,但对于大多数用户可以保证功能正常。对于数值数据,pandas使用浮点值NaN(Not a Number)表示缺失数据
我们输入下面代码:

data = pd.Series(['aaa', 'bbb', 'ccc', np.nan])

产生的结果如下:

0    aaa
1    bbb
2    ccc
3    NaN
dtype: object

我们也可以用 isnull() 方法来查看缺失值

print(data.isnull())

输出结果如下(True表示这个位置为缺失值):

0    False
1    False
2    False
3     True
dtype: bool

NA即not available,中文为:不可用。NA数据可以是不存在的数据或者是存在但是不可观察的数据(例如在数据收集过程中出现了问题)

NA的处理方法:
在这里插入图片描述

1.1过滤缺失值:我们可以通过 pandas.isnull 和布尔索引的手工过滤缺失值的方法,但dropna可能会更实用一些。

1.1.1在 Series 上使用 dropna 时,他会返回Series。

from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
print(data.dropna())

输出结果为:

0    1.0
2    3.5
4    7.0
dtype: float64

我们可以看到。行索引为 1 和 3 的元素(缺失值)被删除掉。

1.1.2在处理DataFrame对象时:dropna默认会删除包含缺失值的行

data = pd.DataFrame([[1, 3.6, 3], [1, NA, NA],
                    [NA, NA, NA], [NA, 6., 3]])

建立的数据为:

     0    1    2
0  1.0  3.6  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  6.0  3.0

调用删除之后的删除为:

     0    1    2
0  1.0  3.6  3.0

我们可以看到缺失值的整行都被删除掉。

1.1.3、传入的参数为how = ‘all’ 的时候,pandas会删除所有值均为NA的行

print(data.dropna(how = 'all'))

删除后的结果为:

     0    1    2
0  1.0  3.6  3.0
1  1.0  NaN  NaN
3  NaN  6.0  3.0

并不是所有的NA的行被删除掉,而只是某一行所有元素均为NA的时候才会删除该行。若是想删除列的话,我们加上axis = 1即可。

补全缺失值:在特定的情况下,我们可能需要以多种方式补全缺失值,而不是直接过滤缺失值。大多数情况下我们使用 fillna() 方法来补全缺失值

print(data.fillna(0))   

fillna()的参数就是我们用来填补缺失值的数值。填补之后的结果如下:

     0    1    2
0  1.0  3.6  3.0
1  1.0  0.0  0.0
2  0.0  0.0  0.0
3  0.0  6.0  3.0

用于重建索引的插值方法也可以用于fillna():

data = pd.DataFrame(np.random.randn(6, 3))
data.iloc[2: ,1] = NA     #从第三行第二列开始(或者我们从索引值为(2,1)开始)
data.iloc[4: ,2] = NA     #从第五行第三列开始(或者我们从索引值为(4,2)开始)

建立完成的数据如下:

          0         1         2
0  0.929878  1.039583 -0.581990
1  0.254919 -2.111313 -0.874815
2 -0.081725       NaN  0.946258
3 -1.224365       NaN -1.164537
4 -0.800158       NaN       NaN
5 -0.252555       NaN       NaN

我们可以看到对应位置的数字变成了NAN。之后我们进行缺失值的填充

print(data.fillna(method = 'ffill'))

填充后的结果如下:

          0         1         2
0 -0.131935 -0.059509 -1.575951
1 -0.556512 -1.407413 -0.204176
2  0.257330 -1.407413 -0.514804
3 -0.394098 -1.407413  0.735544
4 -0.083222 -1.407413  0.735544
5  1.127529 -1.407413  0.735544

我们可以看出pandas按照初始的规矩(产生服从正态分布的随机数的规律)自动的对数据进行了填充。

该函数参数解释如下:
在这里插入图片描述
(二) 代替值:之前我们使用的fillna()方法是通过将缺失值进行填充来实现替换的特殊案例。这里我通过使用replace()方法来实现替换

data = pd.Series([1., -999, 5, -999, 3, 154])   #假设-999是缺失值的标识

我们创建出的data如下:

0      1.0
1   -999.0
2      5.0
3   -999.0
4      3.0
5    154.0
dtype: float64

如果我们像完成缺失值的替换,可以采用这个代码:

print(data.replace(-999, np.nan))

意思是用nan代替原数据集中的 -999,结果如下:

0      1.0
1      NaN
2      5.0
3      NaN
4      3.0
5    154.0
dtype: float64

如果想一次性代替多个值的话,我们也可以使用列表来进行被代替值的传入。

print(data.replace([154, -999], np.nan))

我们这里让 154 和 -999 均被替代掉。

0    1.0
1    NaN
2    5.0
3    NaN
4    3.0
5    NaN
dtype: float64

如果想将不同的值替换为不同的值,可以传入两个列表进去,或者传入字典。下面两句话产生的结果相同

print(data.replace([154, -999], [np.nan, 100]))
print(data.replace({154 : np.nan, -999 : 100}))

结果如下:对应的数值被对应的数值替换掉。

0      1.0
1    100.0
2      5.0
3    100.0
4      3.0
5      NaN
dtype: float64

在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值