mongodb删除重复数据

最新推荐文章于 2023-09-25 18:19:13 发布

转载最新推荐文章于 2023-09-25 18:19:13 发布 · 2.8k 阅读

4 ·

CC 4.0 BY-SA版权

原文链接：https://www.cnblogs.com/nicolegxt/p/24b3653947991ebe73e5d70609ab2943.html

文章标签：

#mongodb #数据库

mongodb 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何在MongoDB 3.4.3版本中处理重复数据。首先，通过$group聚合操作符按userName和age字段分组并计数，然后使用$match筛选出数量大于1的分组。接下来，利用forEach循环遍历结果，移除数组中的第一个_id，并用$in配合_remove删除重复数据。注意，$addToSet确保数组中不包含重复_id，且MongoDB对大小写敏感。

注：mongodb当前版本是3.4.3

插入六条数据：

查询存在重复的数据：

查询并循环删除重复数据：

删除语句解析：

db.userInfo.aggregate([

    {

        $group: { _id: {userName: '$userName',age: '$age'},count: {$sum: 1},dups: {$addToSet: '$_id'}}

    },

    {

        $match: {count: {$gt: 1}}

    }

]).forEach(function(doc){

    doc.dups.shift();

    db.userInfo.remove({_id: {$in: doc.dups}});

})

1.根据userName和age分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段

2.使用$match匹配数量大于1的数据

3.doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据

4.使用forEach循环根据_id删除数据

$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中，$addToSet返回，不会修改数组。

注意：forEach和$addToSet的驼峰写法不能全部写成小写，因为mongodb严格区分大小写、mongodb严格区分大小写、mongodb严格区分大小写，重要的事情说三遍！