Pandas详解二十一之移除重复数据

约定

import pandas as pd

移除重复数据

DataFrame中经常会出现重复行，利用duplicated()函数返回每一行判断是否重复的结果（重复则为True），drop_duplicates([key1,key2,..])则可去除重复行。

1 判断每一行是否重复

df1=pd.DataFrame({
  
  'A':[1,1,1,2,2,3],'B':list("aabbbc")})
print(df1)

   A  B
0  1  a
1  1  a
2  1  b
3  2  b
4  2  b
5  3  c

df1.duplicated()