MongoDB + Robo 3T数据去重

最新推荐文章于 2022-12-08 10:38:08 发布

原创最新推荐文章于 2022-12-08 10:38:08 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据去重

MongoDB 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用Robo3T对MongoDB数据库中的重复数据进行去重处理。通过简单的代码操作，即可轻松实现数据表中指定字段的去重。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Robo 3T是MongoDB数据库的可视化界面软件。
爬虫时会因为某些原因，导致抓取的数据会有重复的。
除了在代码中处理去重，我们可以动动手指即可实现去重处理。
因此，我们可以指定字段来去重。
只需在Robo 3T可视化界面中输入一下代码即可：

db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})