Robo 3T是MongoDB数据库的可视化界面软件。
爬虫时会因为某些原因,导致抓取的数据会有重复的。
除了在代码中处理去重,我们可以动动手指即可实现去重处理。
因此,我们可以指定字段来去重。
只需在Robo 3T可视化界面中输入一下代码即可:
db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})
下面运行代码,即可实现数据去重。