MongoDB数据库去重

最新推荐文章于 2024-07-12 06:34:22 发布

weixin_30507269

最新推荐文章于 2024-07-12 06:34:22 发布

阅读量201

点赞数

CC 4.0 BY-SA版权

文章标签：数据库

原文链接：http://www.cnblogs.com/yqpy/p/9190506.html

本文介绍了一种使用MongoDB聚合管道查询和删除专利文本中重复记录的方法。通过$group阶段统计每项专利的出现次数，利用$match阶段筛选出重复的专利记录，并采用forEach循环配合remove操作去除多余的副本。

查询：

db.patents_texts.aggregate([
    {
　　　　$group:{_id:{Patent_num:'$Patent_num',Patent_name:'$Patent_name'},count:{$sum:1}
　　　　}},
　　　　{$match:{count:{$gt:1}}}
　　　]);

删除：

db.patents_texts.aggregate([
　　{
　　　　$group:{_id:{Patent_num:'$Patent_num',Patent_name:'$Patent_name'},count:{$sum:1},dups:{$addToSet:'$_id'}}
　　},
　　{
　　　　$match:{count:{$gt:1}}
　　}
　　]).forEach(function(doc){
　　　　doc.dups.shift();
　　　　db.patents_texts.remove({_id:{$in:doc.dups}});
　　});

转载于:https://www.cnblogs.com/yqpy/p/9190506.html