MongoDB对不重复数据分组进行计数

最新推荐文章于 2024-04-12 10:29:35 发布

原创

最新推荐文章于 2024-04-12 10:29:35 发布 · 3.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#MongoDB #pymongo #mongodb去重 #mongodb distinct #mongodb aggregate

本文介绍了在MongoDB中对不重复数据进行分组计数的三种方法：使用distinct、aggregate函数以及结合Python的集合操作。通过示例展示了如何找出特定评分范围内的电影并进行去重计数，强调了在大规模数据中distinct的限制，推荐使用aggregate进行高效分组计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在实际环境中，经常会用到对数据进行去重计数

1、采用mongodb的distinct

db.collection.distinct("key").length

db 是数据库名称，collection是集合名称，key是去重的字段，根据自己的名称进行修改
对uid不重复数据进行计数
该图显示了对uid去重后的数据总数

这种方法对大规模数据不适用，因为distinct最多只能使用16M空间，会出现下面的错误
在这里插入图片描述

2、采用MongoDB 的aggregate进行分组计数

官方文档地址 https://docs.mongodb.com/manual/aggregation/

下面是官网截图，aggregate的使用一目了然
在这里插入图片描述

aggregate基本功能是match，group。

match的功能是实现匹配功能，也就是说，会将key下面对应的value值选出来。

找出分数

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_37732787

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【MongoDB】模糊匹配 & 分组计数 & 分组求和

morcit333的博客

02-26

2429

日拱一卒,功不唐捐 1. 模糊匹配-正则匹配假设，有如下数据集： { "text": "Gorgeous", "dt":ISODate("2020-02-20T00:00:00.000Z") } Mongo语句： db.getCollection('abc').find({ 'text':{'$regex':'ge'} }) MySQL类似语句： select * from ...

MongoDB –分组，计数和排序示例

一名可爱的技术搬运工

05-29

4056

一些MongoDB示例向您展示如何执行分组，计数和排序查询。 1.测试数据一个whois_range集合，包含许多记录。 > db.whois_range.find(); { "_id" : 1, "country" : "us", "source" : "ARIN", "status" : "NEW", "createdDate" : ISODate("2016-...

1 条评论您还未登录，请先登录后发表或查看评论

mongodb分组统计

标题有点难

07-18

9120

一、对字段（protocol）下的不同类型进行分组统计： db.getCollection('xxx').aggregate([ { "$group": { "_id": { "protocol": "$protocol" }, "protocolCount": { "$sum": 1 } }} ]) 或 db...

mongo数据库聚合分类，只返回数据库中指定字段不重复的数据

wflsyf的博客

05-17

749

T.class为mongo数据库实体类 TypedAggregation<T> noRepeated = Aggregation.newAggregation( T.class,//数据库的实体类 Aggregation.match(Criteria.where(数据库字段).is(待满足的条件).and(数据库字段).is(待满足的条件)),//匹配的规则，先获取数据中将满足条件的警报

MongoDB 多个字段中进行分组统计数量

最新发布

qq_15874209的博客

04-12

1284

当你需要按照四个字段在 MongoDB 中进行分组统计数量时，你可以继续使用聚合框架中的$group阶段，将_id设定为一个包含这四个字段的对象。这个方法可以灵活应对多字段的分组需求。假设你想根据categorysubjectcolorMode, 和size四个字段对一个集合进行分组统计。

MongoDB 如何对嵌套子文档分组去重计算

Raqsoft

09-01

432

MongoDB的数据存储使用嵌套结构非常普遍，它通过嵌套子文档，实现一对多的关联关系。但嵌套结构分组进行子文档去重数据计算时，常需要将嵌套结构提升为扁平结构，再通过 $group 聚集运算来实现。下面以集合 fund 为例说明，按 id 分组获取 shares、trade 子文档下的不重复 fundcode 数量。具体数据如下： { "id" : 1, "shares" : [ { "fundcode" : "000001", "lastshares" : 1230.2, "agencyno" :

mongoDB使用数据(数据的插入，查询等介绍）

sjjsaaaa的博客

11-21

2097

浏览数据库在shell中使用use函数，在命令后加上希望使用的数据库名称即可浏览数据库。 use 数据库名吗，进入到指定的数据库中。例如 use library。该命令是如果存在该数据库，将焦点切换到该数据库，如果该数据库不存在，则会隐式的创建该数据库，并且将焦点切换到该数据库，然后我们可以操作该数据库中集合与数据等。焦点数据库中我们就可以使用db关键字代表当前数据库，该方法只能在MongoDB shell中使用。查看可用的数据库和集合。 MongoDB将保存数据的时候自动创建数据库，并且还区分大小写

Mongodb聚合函数count、distinct、group如何实现数据聚合操作

09-10

在处理数据时，聚合操作是数据库管理系统中不可或缺的一部分，它允许我们对数据进行统计、分组和过滤等复杂分析。MongoDB 提供了内置的聚合框架，其中包括 `count`、`distinct` 和 `group` 这三个基本聚合函数，它们...

MongoDB 笔记

零度畅想

10-27

966

基本操作 MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成 MongoDB文档类似于JSON对象，字段值可以包含其他文档、数组、文档数组 SQL术语/概念 MongoDB术语/概念解释/说明 database database 数据库 table collection 数据库表/集合

sqlserver 分组统计多字段其中一个_MongoDB 分组统计

weixin_39579548的博客

12-10

718

【摘要】 MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其有丰富的函数库及易用性恰好能弥补 Mongo 这方面的不足。若想了解更多，请前往乾学院：MongoDB 分组统计!MongoDB 作为 NoSql 文档型数据库，在全球范围得到广泛的支持与应用。在比较常用的数据库功能中，相对于普通的增删改查，使用 gr...

mongo查询不重复的

学为

12-27

545

mongo查询不重复的 //查询不重复的groupId记录，按照时间倒序 // List<Article> templateDistinct = mongoTemplate.findDistinct(query, "groupId", Article.class, Article.class); // articleI...

MongoDB聚合使用表达式运算符（函数）分组按条件计数统计案例一则

肖永威的专栏

11-20

2193

MongoDB聚合过程中的表达式运算符（函数）用法入门——分组按条件计数统计案例，在MongoDB聚合统计过程中，经常使用表达式运算符用于构造用于聚合管道阶段的表达式。

mongo分组拆分统计

GO_Print的博客

08-04

603

mongo里面存在某个字段used_where类型是array 需要根据这个array里面每个值和type字段去统计数量比如： _id: Object("64******433") type:text used_where:[otu ，人脸，字幕] _id: Object("64******553") type:video used_where:[人脸，字幕] _id: Object("64******577") type:audio us

MongoDB中的 Limit和Skip方法实现分页，Sort实现排序，Count实现统计个数，distinct去除重复数据（八）

胖墩的IT博客

06-14

2599

MongoDB也有Limit读取指定数量的数据记录，Skip 跳过指定数量的数据，它俩结合起来就可以做一个分页准备测试数据 > db.col.find() { "_id" : ObjectId("5d0346819cd49366b7f099ee"), "title" : "教育" } { "_id" : ObjectId("5d0346819cd49366b7f099ef"), "ti...

mongodb字段分类统计

weixin_43812065的博客

10-18

1015

/** * @Author: mahongfei * @description: 求职人婚姻状况比例（饼状图） */ @Override public Result statisticsMarriage() { List operations = new ArrayList<>(); operations.add(Aggregation.group(“marriage”).count(...

MongoTemplate查询海量数据

jesseXu的博客

09-26

3358

在进行数据迁移时，需要从mongodb中获取数据，而数据有比较多，所以不能一次性取出所有数据，需要分批获取数据。分批获取数据主要有两种方式： Criteria criteria = Criteria.where("typeName").is("rdbms_table") .and("status").is("ACTIVE") .and("attributes.versionType").is("formal"); Query query = new Q

【MongoDB日常记录】group后求count(distinct 某字段) 的方法

my的博客

03-24

1495

今天，我遇到了个在mongo中 group后 count(distinct f1) 的需求。备注：f1 代表某字段大意是：根据key1 分组后,找出该组中字段 f1的不重复数量 1. mysql实现伪sql如下：(这个挺简单的) sql select key1, count(distinct f1) from t group by key1 2. mong...

MongoDB-基础-05-聚合

aren

03-11

240

出处：http://www.cnblogs.com/stephen-liu74/archive/2012/09/19/2652308.html MongoDB除了基本的查询功能之外，还提供了强大的聚合功能。这里主要介绍count、distinct和group。 1. count： --在空集合中，count返回的数量为0。 > db.test.coun...

MongoDB聚合：分组统计$group的用法详解

superatom01的博客

12-14

5752

MongoDB不像关系型数据库，普通的查询不支持汇总，要进行复杂的分组汇总，需要使用聚合管道，$group可以说是MongoDB聚合管道进行数据分析最常用的一个阶段。该阶段根据分组键值（组键）把文档分成若干组，每个唯一的键值对应一个文档。组键通常是一个或多个字段，也可以是表达式的结果。$group阶段输出的结果中，_id字段的值就是组键的值，输出文档中还可以包含汇总表达式的字段，汇总表达式的功能非常丰富，下面的列表会简单介绍，具体的使用方法可以参考详细说明。

mongodb 分组计数

06-07

你可以使用 MongoDB 的聚合框架来进行分组计数。以下是一个示例代码，假设你有一个名为 orders 的集合，其中包含了订单信息，你想要按照客户名进行分组计数。 ``` db.orders.aggregate([ { $group: { _id: "$customer_name", count: { $sum: 1 } } } ]) ``` 这个聚合操作将 orders 集合中的文档按照 customer_name 分组，并计算每个分组中文档的数量。最终的结果将会是一个包含了每个客户名和对应订单数量的文档数组。