MongoDB + Robo 3T数据去重

风度翩翩猪肉王子

于 2018-08-05 18:03:45 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： MongoDB 文章标签：数据去重

本文链接：https://blog.youkuaiyun.com/qq_17249717/article/details/81433587

MongoDB 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用Robo3T对MongoDB数据库中的重复数据进行去重处理。通过简单的代码操作，即可轻松实现数据表中指定字段的去重。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Robo 3T是MongoDB数据库的可视化界面软件。
爬虫时会因为某些原因，导致抓取的数据会有重复的。
除了在代码中处理去重，我们可以动动手指即可实现去重处理。
因此，我们可以指定字段来去重。
只需在Robo 3T可视化界面中输入一下代码即可：

db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})