本文介绍如何使用Pandas进行数据处理，包括查找重复值、删除重复值和去重后的处理策略，以及类型转换和字段拆分。通过duplicated()和drop_duplicates()方法，针对全列或特定列进行重复值检查与处理，并展示了如何将字符串转换为日期时间类型以及字段的拆分操作。
一、查找重复值
既然我们这个系列是对比Excel，那么在Excel里是怎么查找重复值的呢？有很多种方法，这里就简单说一种：条件格式。在【开始】——【条件格式】里选择突出显示重复值，就将重复的值突出显示出来了：
Pandas里如何查找重复值呢？
1、查找所有列
duplicated方法查找重复值，和isnull一样，得到的结果是布尔值，如果重复被标记为True，否则为False
# 查看所有列都重复的数据
df_list.duplicated()
结果如下，得到的是一个序列，通过True/False来查看哪些行完全重复。
也可以把它具体的位置找出来：
# 定位出所有列都重复的行
df_list[df_list.duplicated()]
结果是一个空行，说明这个数据集里没有所有列都重复的行
2、查找单独列
对重复值的判断有时不需要判断所有列，只需要对某一列进行判断，还是用duplicated方法查找，如查找id列是否重复
# 查
最低0.47元/天 解锁文章
扫一扫
676
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
