最近在用mongodb录分钟线,出现了很多重复数据和垃圾数据。如下。
使用以下语句查询重复数据,我这个简单只需要时间重复就可以了。
db.getCollection('btc_usd_quarter_10').aggregate([{$group:{_id:{datetime:'$datetime'}, count:{$sum:1}}},{$match:{count:{$gt:1}}}])
不明白这语句的可以参考
查询结果:
最后一步,使用下面语句,删除重复项:
db.getCollection('btc_usd_quarter_10').aggregate([{$group:{_id:{datetime:'$datetime'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('btc_usd_quarter_10').remove({_id: {$in: doc.dups}});})
删除重复项的效果:
总结:使用这个删除重复项目,速度一般,太多了还是很卡,几十万条还行。吐槽一下mongodb的语法,真是醉了,括号多得吓死人,好好理清语句间的逻辑关系,还有鼠标点括号robo3t会有高亮提示。其他的就靠自己摸索了。