pandas入门-缺失数据与重复数据处理

本文是《python数据分析》中pandas入门章节关于缺失数据与重复数据的回顾总结。介绍了缺失数据处理方法dropna、fillna、isnull,以及重复数据处理方法duplicated、drop_duplicates,还给出了各方法含义、参数及代码案例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是对《python数据分析》的关于pandas入门章节中关于缺失数据与重复数据的一个回顾性总结笔记,包括相关解释与代码案例。 

目录

缺失数据处理

dropna

fillna

isnull

重复数据处理

duplicated

drop_duplicates


 

缺失数据处理

dropna


    含义
        根据各标签的值中是否存在缺失数据对轴标签进行过滤。返回一个新的没有缺失的数据对象
    参数
        how='any',默认是只要有NaN 的行就会丢弃。
        如果指定how='all',则将只丢弃那些全为NaN 的行。如果是想对列操作,则指定axis=1即可。

fillna


    含义
        用指定值或插值方法(如fill或bfill)填充缺失数据。
    参数
        

isnull

含义
    返回一个含有布尔值的对象,这些布尔值表示哪些值是缺失数据,改对象的类型与源类型一样。

 

重复数据处理

duplicated

DataFrame的duplicated方法返回一个布尔型Series,表示各行是否是重复行(前面出现过)。默认会判断行中出现的全部列,在后面加列来选取。与drop_duplicated类似,见下面的例子

In [45]: data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
   ....:                      'k2': [1, 1, 2, 3, 3, 4, 4]})
In [47]: data.duplicated()
Out[47]: 
0    False
1    False
2    False
3    False
4    False
5    False
6     True

drop_duplicates


    还有一个与此相关的drop_duplicates方法,它会返回一个DataFrame,重复的数组中只返回一行。
    指定部分列进行重复项判断。假设我们还有一列值,且只希望根据k1列过滤重复项:
        例子

data = pd.DataFrame({'k1': ['one', 'two'] * 2 + ['two'],'k2': [1, 1, 2, 3, 3]})
# 只看其中k2列,如果重复就丢弃
dataDroped=data['k2'].drop_duplicates()
print(data)
print(dataDroped) # 返回的是k2列去重后的值
# print(data[dataDroped])

输出
    k1  k2
0  one   1
1  two   1
2  one   2
3  two   3
4  two   3
0    1
2    2
3    3
Name: k2, dtype: int64

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值