本文介绍了一种使用MongoDB聚合框架来查找并删除特定字段组合的重复记录的方法。通过$group阶段统计重复项，再利用$match阶段筛选出重复超过一次的数据，并最终删除多余的副本。
//删除synonymsList表中name+latin+status+sysName重复数据
db.synonymsList.aggregate([
{
$group:{
_id: {name: "$name",latin:"$latin",status:"$status",sysName:"species2000"},
count: {$sum: 1},//取得总数
dups: {$addToSet: '$_id'}//暂存_id到set
}
},{
$match:{count:{$gt:1}}//只找出大于1的重复数据
}
],{
allowDiskUse:true//因为数据超过16M，得使用硬盘缓存
}).forEach(function(doc){
doc.dups.shift();//将重复数据的任一条先从set中去掉，作为保留
db.synonymsList.remove({_id: {$in: doc.dups}});//移除掉剩下的重复数据
})
db.synonymsList.aggregate([
{
$group:{
_id: {name: "$name",latin:"$latin",status:"$status",sysName:"species2000"},
count: {$sum: 1},//取得总数
dups: {$addToSet: '$_id'}//暂存_id到set
}
},{
$match:{count:{$gt:1}}//只找出大于1的重复数据
}
],{
allowDiskUse:true//因为数据超过16M，得使用硬盘缓存
}).forEach(function(doc){
doc.dups.shift();//将重复数据的任一条先从set中去掉，作为保留
db.synonymsList.remove({_id: {$in: doc.dups}});//移除掉剩下的重复数据
})
扫一扫
257
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
