mongodb的join操作

最新推荐文章于 2025-04-04 00:08:16 发布

weixin_30544657

最新推荐文章于 2025-04-04 00:08:16 发布

阅读量171

点赞数

CC 4.0 BY-SA版权

文章标签：数据库

原文链接：http://www.cnblogs.com/lengyuhong/archive/2012/04/14/2446442.html

本文介绍了一种在MongoDB中实现两个集合交集查询的方法，通过优化查询逻辑，使用批量查询替代逐条查询的方式，显著提高了查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

众所周知，mongodb是不支持join操作的，因此我们只能自己来实现这个功能。前段时间，我遇到这个一个业务场景：

collection A 的数据格式：

{ "_id" : { "username" : "jifeng.zjd", "version" : 2 }, "value" : 1 }

collection B 的数据格式：

{ "user_id" : 12630, "username" : "jifeng.zjd" }

A表的数据量为2w，B表的数据量为25w。为了说明简单，我简化下需求，就是计算A._id.username = B.username 的B表中的用户数据，也就是求A和B的交集。没有join，怎么办呢？

相信大家都应该有自己的解答了，由于A表的数据量相对于B表来讲是少的，所以可以先取出A表的所有数据，然后去B表查询，看那些数据同时存在于A和B表中。当然在mongodb中对A和B建立适当的索引是非常必要的。我采用的方法是对B表的username字段进行索引。如对mongodb索引不了解，可以参见《mongoDB的索引使用及索引机制》一文。

这里我使用的语言是nodejs，node_module采用的mongoskin，我刚开始写了一个简单的实现：

db.A.find({}, {}, function(err, adata){
  if (err) return callback(err);
  //得到A表中的所有数据
  adata.toArray(function(err, aArray){
    if (err) return callback(err);
    var len = aArray.length;
    var result = [];
    for (var i = 0; i < len; i++) {
      var item = aArray[i];
      var username = item._id.username;
      var op = {username: username};
      //查看B表中这条数据
      db.B.findOne(op, {}, function(err, data){
        allcount++;
        if (data) {
          result.push(data.username); 
        }
        if (allcount === len) {
          callback(null, result); 
        } 
      })
    }
  })
})

这段代码是能满足业务需求，但大家有没有发现它存在一个致命的问题？对，运行速度慢！

原因很简单，我是从A表中批量取到所有数据，然后又用findOne方法一条条去B表中查询，A表中有2w数据，也就是要查B表2w次，虽然B表中已经建立索引，但这样的查询逻辑明显是不可接受。知道问题所在，解决方案也就清楚了：对B表进行批量查询：

db.A.find({}, {}, function(err, adata){
  if (err) return callback(err);
  //得到A表中的所有数据
  adata.toArray(function(err, aArray){
    if (err) return callback(err);
    var len = aArray.length;
    var result = [];
    var usernames = [];
    for (var i = 0; i < len; i++) {
      var item = aArray[i];
      var username = item._id.username;
      usernames.push(username);
    }
    var op = {username: {$in: usernames}};
    //查看B表中这条数据
    db.B.find(op, {}, function(err, bdata){
      ddata.toArray(function(err, barray){
        callback(barray);  
      })
    })
  })
})