本文是对《python数据分析》的关于pandas入门章节中关于缺失数据与重复数据的一个回顾性总结笔记,包括相关解释与代码案例。
目录
缺失数据处理
dropna
含义
根据各标签的值中是否存在缺失数据对轴标签进行过滤。返回一个新的没有缺失的数据对象
参数
how='any',默认是只要有NaN 的行就会丢弃。
如果指定how='all',则将只丢弃那些全为NaN 的行。如果是想对列操作,则指定axis=1即可。
fillna
含义
用指定值或插值方法(如fill或bfill)填充缺失数据。
参数
isnull
含义
返回一个含有布尔值的对象,这些布尔值表示哪些值是缺失数据,改对象的类型与源类型一样。
重复数据处理
duplicated
DataFrame的duplicated方法返回一个布尔型Series,表示各行是否是重复行(前面出现过)。默认会判断行中出现的全部列,在后面加列来选取。与drop_duplicated类似,见下面的例子
In [45]: data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
....: 'k2': [1, 1, 2, 3, 3, 4, 4]})
In [47]: data.duplicated()
Out[47]:
0 False
1 False
2 False
3 False
4 False
5 False
6 True
drop_duplicates
还有一个与此相关的drop_duplicates方法,它会返回一个DataFrame,重复的数组中只返回一行。
指定部分列进行重复项判断。假设我们还有一列值,且只希望根据k1列过滤重复项:
例子
data = pd.DataFrame({'k1': ['one', 'two'] * 2 + ['two'],'k2': [1, 1, 2, 3, 3]})
# 只看其中k2列,如果重复就丢弃
dataDroped=data['k2'].drop_duplicates()
print(data)
print(dataDroped) # 返回的是k2列去重后的值
# print(data[dataDroped])
输出
k1 k2
0 one 1
1 two 1
2 one 2
3 two 3
4 two 3
0 1
2 2
3 3
Name: k2, dtype: int64