「Mongo」聚合操作与清洗重复数据项

最新推荐文章于 2025-06-23 22:08:38 发布

Hugh_Dong

最新推荐文章于 2025-06-23 22:08:38 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：「数据」沙里淘金文章标签： mongodb 聚合操作数据重复

本文链接：https://blog.youkuaiyun.com/qq_33282586/article/details/80643847

本文介绍如何利用MongoDB的聚合操作和PyMongo库在Python环境中清洗数据，特别是处理因爬虫中断导致的少量重复数据。通过创建特定条件的分组并计数，筛选出数量大于1的重复项进行删除。MongoDB 3.4.7开始支持使用聚合操作来检索并删除重复数据。详细步骤包括基于'title'、'date'和'source'字段分组，然后使用$group和$match操作符，最后通过Mongo Shell和PyMongo的bulk_write()方法实现批量删除。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Mongo聚合操作来进行重复的数据项清洗，并使用PyMongo加入到数据清洗组件中。

当前环境：PyMongo 3.6.1 / MongoDB 3.4.7 / Python 3.6.4 :: Anaconda, Inc.

在爬虫中断续爬时会出现少量数据重复的问题，我将数据去重放在了数据清洗环节，清洗的过程中顺带将重复的数据删除。
Mongo老版本的解决方案是建立单一索引，Mongo3.+可以使用聚合操作将重复的数据检索出来并进行删除。
元数据结构如下：

item = { 
    "_id" : ObjectId("..."), 
    "title" : "...",     # 数据标题
    "date" : "...",      # 数据日期
    "url" : "...",       # 数据来源
    "content" : "...", 
    "source" : "..."
    "category" : "...", 
    ...
}