pandas入门-缺失数据与重复数据处理

本文是对《python数据分析》的关于pandas入门章节中关于缺失数据与重复数据的一个回顾性总结笔记，包括相关解释与代码案例。 

目录

缺失数据处理

dropna

fillna

isnull

重复数据处理

duplicated

drop_duplicates

---

 

缺失数据处理

dropna

    含义
        根据各标签的值中是否存在缺失数据对轴标签进行过滤。返回一个新的没有缺失的数据对象
    参数
        how='any'，默认是只要有NaN 的行就会丢弃。
        如果指定how='all'，则将只丢弃那些全为NaN 的行。如果是想对列操作，则指定axis=1即可。

fillna

    含义
        用指定值或插值方法(如fill或bfill)填充缺失数据。
    参数
        

isnull

含义
    返回一个含有布尔值的对象，这些布尔值表示哪些值是缺失数据，改对象的类型与源类型一样。

 

重复数据处理

duplicated

DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行（前面出现过）。默认会判断行中出现的全部列，在后面加列来选取。与drop_duplicated类似，见下面的例子

In [45]: data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
   ....:                      'k2': [1, 1, 2, 3, 3, 4, 4]})
In [47]: data.duplicated()
Out[47]: 
0    False
1    False
2    False
3    False
4    False
5    False
6     True

drop_duplicates

    还有一个与此相关的drop_duplicates方法，它会返回一个DataFrame，重复的数组中只返回一行。
    指定部分列进行重复项判断。假设我们还有一列值，且只希望根据k1列过滤重复项：
        例子

data = pd.DataFrame({'k1': ['one', 'two'] * 2 + ['two'],'k2': [1, 1, 2, 3, 3]})
# 只看其中k2列，如果重复就丢弃
dataDroped=data['k2'].drop_duplicates()
print(data)
print(dataDroped) # 返回的是k2列去重后的值
# print(data[dataDroped])

输出
    k1  k2
0  one   1
1  two   1
2  one   2
3  two   3
4  two   3
0    1
2    2
3    3
Name: k2, dtype: int64