MongoDB 聚合操作

MongoDB 聚合操作

聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档
里不存在的文档信息。一般都是将记录按条件分组之后进行一系列求最大值，最小值，平均值的简单操
作，也可以对记录进行复杂数据统计，数据挖掘的操作。聚合操作的输入是集中的文档，输出可以是一
个文档也可以是多个文档。

MongoDB 聚合操作分类

单目的聚合操作(Single Purpose Aggregation Operation)
聚合管道(Aggregation Pipeline)
MapReduce 编程模型

单目的聚合操作

单目的聚合命令常用的有：count() 和 distinct()

db.resume_preview.find({}).count()

聚合管道(Aggregation Pipeline)

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
如:
db.resume_preview.aggregate([{$group:{_id:"$city",city_count:{$sum:1}}}])

MongoDB中聚合(aggregate)主要用于统计数据(诸如统计平均值,求和等)，并返回计算后的数据结果。
表达式：处理输入文档并输出。表达式只能用于计算当前聚合管道的文档，不能处理其它的文档

MongoDB 中使用 db.COLLECTION_NAME.aggregate([{},…]) 方法来构建和使用聚合管道，每个
文档通过一个由一个或者多个阶段（stage）组成的管道，经过一系列的处理，输出相应的结果。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作
是可以重复的。

• $group：将集合中的文档分组，可用于统计结果。
• $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及
  嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
• $limit：用来限制MongoDB聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。

db.resume_preview.aggregate(
[{$group : {_id: "$city", avgSal:{$avg:"$expectSalary"}}},
{$project : {city: "$city", salary : "$avgSal"}}
])
db.resume_preview.aggregate(
[{$group:{_id: "$city",count:{$sum : 1}}},
{$match:{count:{$gt:1}}}
])

MapReduce 编程模型

Pipeline查询速度快于MapReduce，但是MapReduce的强大之处在于能够在多台Server上并行执行复杂的聚合逻辑。MongoDB不允许Pipeline的单个聚合操作占用过多的系统内存，如果一个聚合操作消耗20%以上的内存，那么MongoDB直接停止操作，并向客户端输出错误消息

MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）

db.collection.mapReduce(
function() {emit(key,value);}, //map 函数
function(key,values) {return reduceFunction}, //reduce 函数
{
out: collection,
query: document,
sort: document,
limit: number,
finalize: <function>,
verbose: <boolean>
}
)

使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value), 遍历
collection 中所有的记录, 将 key 与 value 传递给 Reduce 函数进行处理

参数说明：

• map：是JavaScript 函数，负责将每一个输入文档转换为零或多个文档，生成键值对序列,作为reduce 函数参数
• reduce：是JavaScript 函数，对map操作的输出做合并的化简的操作（将key-value变成keyvalues，也是把values数组变成一个单一的值value）
• out：统计结果存放集合
• query： 一个筛选条件，只有满足条件的文档才会调用map函数。
• sort： 和limit结合的sort排序参数（也是在发往map函数前给文档排序），可以优化分组机制
• limit： 发往map函数的文档数量的上限（要是没有limit，单独使用sort的用处不大）
• finalize：可以对reduce输出结果再一次修改
• verbose：是否包括结果信息中的时间信息，默认为fasle

db.resume_preview.mapReduce(
function() { emit(this.city,this.expectSalary); },
function(key, value) {return Array.avg(value)},
{
query:{expectSalary:{$gt: 15000}},
out:"cityAvgSal"
}
)