pandas 将重复表格去重，并重新转换为表格

最新推荐文章于 2024-06-27 16:41:53 发布

原创最新推荐文章于 2024-06-27 16:41:53 发布 · 3.3k 阅读

3 ·

CC 4.0 BY-SA版权

python学习专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Python的pandas库进行数据去重处理，通过将CSV文件读取为DataFrame，选取特定列并转换为集合类型实现高效去重，最后保存为新的CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在python处理数据时，经常用到DataFrame和set。

train=pd.read_csv('XXX.csv')#读取文件
train=train['item_id']#选择要去重的列
train=set(train)#去重
data=pd.DataFrame(list(train),columns=['item_id'])#因为set是无序的，必须要经过list处理后才能成为DataFrame
data.to_csv('xxx.csv',index=False)#保存表格

记得导入pandas哦~