02-mongodb MongoDB 聚合 group

本文介绍了MongoDB中聚合的用法,包括$sum、$avg等操作符用于计算总和、平均值等,还给出统计每个country/province下userid数量的例子。此外,阐述了管道的概念,以及$project、$match等常用管道操作符的实例。

MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。有点类似sql语句中的 count(*)。

基本语法为:db.collection.aggregate( [ <stage1>, <stage2>, ... ] )

现在在mycol集合中有以下数据:

{ "_id" : 1, "name" : "tom", "sex" : "男", "score" : 100, "age" : 34 }
{ "_id" : 2, "name" : "jeke", "sex" : "男", "score" : 90, "age" : 24 }
{ "_id" : 3, "name" : "kite", "sex" : "女", "score" : 40, "age" : 36 }
{ "_id" : 4, "name" : "herry", "sex" : "男", "score" : 90, "age" : 56 }
{ "_id" : 5, "name" : "marry", "sex" : "女", "score" : 70, "age" : 18 }
{ "_id" : 6, "name" : "john", "sex" : "男", "score" : 100, "age" : 31 }

1、$sum 计算总和。

Sql:  select sex,count(*) from mycol group by sex

MongoDb:  db.mycol.aggregate([{group: {_id: 'sex', personCount: {$sum: 1}}}])

Sql:  select sex,sum(score) totalScore from mycol group by sex

MongoDb:  db.mycol.aggregate([{group: {_id: 'sex', totalScore: {$sum:'score'}}}])

2、$avg  计算平均值

Sql:  select sex,avg(score) avgScore from mycol group by sex

Mongodb: db.mycol.aggregate([{group: {_id: 'sex', avgScore: {$avg:'$score'}}}])

3、$max 获取集合中所有文档对应值得最大值。

Sql:  select sex,max(score) maxScore from mycol group by sex

Mongodb: db.mycol.aggregate([{group: {_id: 'sex', maxScore : {$max:'$score'}}}])

4、$min 获取集合中所有文档对应值得最小值。

Sql:  select sex,min(score) minScore from mycol group by sex

Mongodb: db.mycol.aggregate([{group: {_id: 'sex', minScore : {$min:'$score'}}}])

 

5、$push 把文档中某一列对应的所有数据插入值到一个数组中。

Mongodb: db.mycol.aggregate([{group: {_id: 'sex', scores : {$push:'$score'}}}])

6、$addToSet 把文档中某一列对应的所有数据插入值到一个数组中,去掉重复的

db.mycol.aggregate([{group: {_id: 'sex', scores : {$addToSet:'$score'}}}])

7、 $first 根据资源文档的排序获取第一个文档数据。

8、 $last 根据资源文档的排序获取最后一个文档数据。

9、全部统计 null

例子

现在在t2集合中有以下数据:

  { "country" : "china", "province" : "sh", "userid" : "a" }
  { "country" : "china", "province" : "sh", "userid" : "b" }
  { "country" : "china", "province" : "sh", "userid" : "a" }
  { "country" : "china", "province" : "sh", "userid" : "c" }
  { "country" : "china", "province" : "bj", "userid" : "da" }
  { "country" : "china", "province" : "bj", "userid" : "fa" }

需求是统计出每个country/province下的userid的数量(同一个userid只统计一次)

db.t2.aggregate([ { group: {"_id": { "country" : "country", "prov": "province"} , "number":{sum:1}} } ])  

结果是错误的:

原因是,这样来统计不能区分userid相同的情况 (上面的数据中sh有两个 userid = a)

为了解决这个问题,首先执行一个group,其id 是 country, province, userid三个field:

db.t2.aggregate([ { group: {"_id": { "country" : "country", "province": "userid":"userid" } } } ])

可以看出,这步的目的是把相同的userid只剩下一个。

然后第二步,再第一步的结果之上再执行统计:

db.t2.aggregate([{ group: {"_id": { "country" : "country", "province": "userid":"userid" } } } ,{ group: {"_id": { "country" : "_id.country", "province": "_id.province"  }, count : {sum : 1 } } }])

加入一个$project操作符,把_id去掉

db.t2.aggregate([ { group: {"_id": { "country" : "country", "province": "userid":"userid" } } } ,{ group: {"_id": { "country" : "_id.country", "province": "_id.province"  }, count: {sum : 1 } } },{ project : {"_id": 0, "country" : "_id.country", "province" : "$_id.province", "count" : 1}}])

 管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的.

表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作:

  • $project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
  • match用于过滤数据,只输出符合条件的文档。 
  • match使用MongoDB的标准查询操作。
  • $limit:用来限制MongoDB聚合管道返回的文档数。
  • $skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
  • $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
  • $group:将集合中的文档分组,可用于统计结果。
  • $sort:将输入文档排序后输出。
  • $geoNear:输出接近某一地理位置的有序文档。

1、$project实例

db.mycol.aggregate({$project:{name : 1, score : 1}})

这样的话结果中就只还有_id,name和score三个字段了,默认情况下_id字段是被包含的,如果要想不包含_id话可以这样:

   db.mycol.aggregate({$project:{_id : 0, name : 1, score : 1}})

 2、$match实例

group管道操作符进行处理

db.mycol.aggregate([{match :{score: {gt: 30, lt: 100}}},{group:{_id:'sex',count:{sum:1}}}])

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

MongoDB聚合函数提供了强大的数据处理能力,可通过多种方式实现查询统计,聚合管道是首选方法,同时单一目的聚合方法和MapReduce也可适应不同场景。在MongoDB中,聚合函数主要使用 `aggregate` 方法来实现 [^1][^2]。 以下是一个使用聚合函数查询和统计MongoDB中数据的示例代码: ```javascript // 连接 MongoDB 数据库 const MongoClient = require('mongodb').MongoClient; const url = 'mongodb://localhost:27017'; const dbName = 'mydatabase'; // 创建聚合查询管道 const pipeline = [ // 第一阶段: 过滤条件 { $match: { age: { $gte: 18 } // 查询年龄大于等于 18 的文档 } }, // 第二阶段: 分组和计数 { $group: { _id: "$gender", // 按性别分组 count: { $sum: 1 } // 计数器递增 } }, // 第三阶段: 排序 { $sort: { count: -1 // 按计数器降序排序 } }, // 第四阶段: 限制结果数量 { $limit: 5 // 返回前 5 条结果 } ]; // 运行聚合查询 MongoClient.connect(url, function(err, client) { if (err) throw err; const db = client.db(dbName); const collection = db.collection('users'); // 执行聚合查询 collection.aggregate(pipeline).toArray(function(err, result) { if (err) throw err; console.log(result); // 输出查询结果 client.close(); }); }); ``` 此示例通过聚合管道实现了一系列操作,先筛选出年龄大于等于18的文档,再按性别分组并计数,接着对计数结果降序排序,最后限制返回前5条结果 [^2]。 此外,还可以将MongoDB聚合操作与SQL操作进行对比,例如:`where` 对应 `$match`,`group by` 对应 `$group`,`having` 对应 `$match`,`select` 对应 `$project`,`order by` 对应 `$sort`,`limit` 对应 `$limit`,`sum()` 对应 `$sum`,`count()` 对应 `$sum`,`join` 对应 `$lookup`(v3.2 新增) [^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值