[Python]python对csv去除重复行 python 2020.2.11

路白#

于 2020-02-11 02:09:00 发布

阅读量3.8k

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_43847567/article/details/104854111

本文详细介绍了如何使用Python的Pandas库进行数据去重，通过示例代码展示了.drop_duplicates函数的使用方法，包括如何指定列、保留首次或末次出现的记录及是否原地修改数据等参数设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用pandas库的.drop_duplicates函数

代码如下：

1 import shutil
2 import pandas as pd
3 
4 
5 frame=pd.read_csv('E:/bdbk.csv',engine='python')
6 data = frame.drop_duplicates(subset=['名称'], keep='first', inplace=False)
7 data.to_csv('E:/baike.csv', encoding='utf8')

.drop_duplicates有三个参数

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

如subset=['A','B']去A列和B列重复的数据

参数如下：

subset : column label or sequence of labels, optional
用来指定特定的列，默认所有列
keep : {‘first’, ‘last’, False}, default ‘first’
删除重复项并保留第一次出现的项
inplace : boolean, default False
是直接在原来数据上修改还是保留一个副本