Mongodb数据库删除重复数据

具体代码如下：

db.boss_python.aggregate([
    {
        $group: { _id: {job_id: '$job_id'},count: {$sum: 1},dups: {$addToSet: '$_id'}}
    },
    {
        $match: {count: {$gt: 1}}
    }  
]).forEach(function(doc){
    doc.dups.shift();
    db.boss_python.remove({_id:{$in:doc.dups}});
    })

---

在Rebomongo中操作可能会提示，forEach is not function，就可以进入到命令行中的数据库操作。

首先，根据字段进行分组（可以设置多个），会将字段相同的放在同一个group中，然后使用count进行计数，由于group只会返回_id中统计的字段，而后面再进行删除的时候回使用到_id这个字段，因此需要使用addToSet将_id加入dups变量中;$match中匹配的是数目大于1的文档集合；对于所有数目大于1的文档集，doc.dups.shift()表示剔除文档集中的第一个_id，防止后面的删除操作将所有文档进行删除。