7、python数据框重复值的查找和删除

1 找出重复的位置

index=df.duplicated()

## 根据某些列找出重复的位置

index=df.duplicated('id')

index=df.duplicated(['id','key'])

## 根据返回值，把重复的数据提取出来

df[index]

2  直接删除重复值

# 默认根据所有的列进行删除,直接调用，一步到位

newDF=df.drop_duplicates()

# 只要ID相同便执行删除

newDF=df.drop_duplicates('id')