MongoDB Change Stream：使用教程

最新推荐文章于 2025-05-26 02:15:00 发布

原创最新推荐文章于 2025-05-26 02:15:00 发布 · 1k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #数据库

引言

MongoDB Change Stream是MongoDB提供的一项强大功能，允许应用程序实时访问数据库的变更信息。通过使用Change Stream，应用程序可以订阅单个集合、数据库或整个部署的数据变更，而无需手动追踪oplog带来的复杂性和风险。本教程将详细介绍MongoDB Change Stream的基本概念、使用方法及应用场景。

基本概念

什么是Change Stream？

Change Stream是基于MongoDB Oplog实现的，它提供推送实时增量数据的功能。Change Stream在oplog上开启一个tailable cursor来追踪所有复制集上的变更操作，并将这些变更事件推送给订阅的应用程序[2]。

Change Stream的主要功能是推送实时的增量变更数据流。MongoDB上的所有DML操作（插入、删除、修改）以及部分DDL操作（如删表、删库）都会被记录在Change Stream中[3]。

Change Stream与Oplog的关系

Change Stream是建立在MongoDB Oplog之上的。Oplog是MongoDB记录所有操作的系统集合，而Change Stream在这个基础上提供了一层应用，对外提供API接口，将数据进行实时推送[2]。

通过使用Change Stream，应用程序可以避免直接操作oplog带来的复杂性和风险，同时获得实时数据变更的通知。

主要应用场景

Change Stream在以下场景中有广泛应用：

多个MongoDB集群之间的增量数据同步 - 可以通过Change Stream将一个集群的变更实时同步到另一个集群[1]。
高风险操作的审计 - 可以监控删除数据库或删除表等高风险操作，便于审计和追踪[1]。
将MongoDB的变更订阅到其他关联系统 - 实现离线分析/计算，如将变更同步到Elasticsearch进行全文检索[1]。
实时数据监控 - 监控数据库的实时变更，适用于需要实时响应数据变化的应用场景。

使用MongoDB Change Stream

前提条件

使用Change Stream前，需要确保：

MongoDB实例已配置为副本集（replica set），因为Change Stream依赖于oplog。
应用程序具有适当的权限来访问oplog。

基本用法

以下是使用Change Stream的基本步骤：

订阅变更流：
可以订阅单个集合、数据库或整个部署的变更。订阅时可以指定过滤条件，只接收感兴趣的变更事件。
处理变更事件：
当接收到变更事件时，应用程序可以根据事件类型（如插入、删除、更新）执行相应的操作。
保持连接：
Change Stream是一个长期运行的连接，应用程序需要处理可能的连接中断，并在断开后重新连接。

示例代码

以下是一个使用Node.js订阅集合变更的示例：

javascript

复制

const MongoClient = require('mongodb').MongoClient;
const url = 'mongodb://localhost:27017';

async function run() {
  const client = new MongoClient(url);
  try {
    await client.connect();
    const db = client.db('test');
    const collection = db.collection('users');

    // 创建变更流
    const changeStream = collection.watch();

    // 处理变更事件
    changeStream.on('change', (change) => {
      console.log('变更事件:', change);
      // 根据变更类型执行相应操作
      if (change.operationType === 'insert') {
        console.log('新文档已插入:', change.fullDocument);
      } else if (change.operationType === 'update') {
        console.log('文档已更新:', change.fullDocument);
      } else if (change.operationType === 'delete') {
        console.log('文档已删除:', change.documentKey);
      }
    });

    // 处理错误
    changeStream.on('error', (error) => {
      console.error('变更流错误:', error);
    });

    // 保持连接10秒
    await new Promise(resolve => setTimeout(resolve, 10000));

  } catch (err) {
    console.error('连接错误:', err);
  } finally {
    await client.close();
  }
}

run().catch(console.dir);

过滤变更事件

可以使用aggregate()方法添加$match阶段来过滤变更事件：

javascript

复制

const changeStream = collection.watch([
  { $match: { operationType: {$in: ['insert', 'update'] } } }
]);

这样可以只接收插入和更新操作的变更事件。

高级功能

变更事件文档结构

Change Stream返回的变更事件文档包含以下字段：

operationType：操作类型，如insert、update、delete等
ns：命名空间，包含数据库名和集合名
documentKey：被操作的文档的_id
fullDocument：完整的文档（仅适用于插入和更新操作）
updateDescription：更新操作的详细信息

完整的变更事件文档结构可以参考MongoDB官方文档[7]。

处理历史数据

如果需要处理历史变更数据，可以使用startAtOperationTime选项指定开始时间：

javascript

复制

const changeStream = collection.watch([], {
  startAtOperationTime: startTime
});

处理大规模变更

对于大规模变更，可以使用maxAwaitTimeMS选项控制每个变更事件的等待时间：

javascript

复制

const changeStream = collection.watch([], {
  maxAwaitTimeMS: 5000 // 最多等待5秒
});

注意事项

性能考虑：使用Change Stream时需要考虑性能影响，特别是在高负载场景下。
连接管理：Change Stream是一个长期运行的连接，需要妥善处理连接断开和重连。
数据一致性：了解Change Stream的数据一致性模型，确保应用程序能够正确处理可能的重复事件。
权限控制：确保应用程序具有适当的权限来访问Change Stream。

结论

MongoDB Change Stream是一个强大的功能，可以实时监控数据库的变更。通过本教程，我们了解了Change Stream的基本概念、使用方法和应用场景。希望这些信息对您在开发过程中有所帮助。

通过使用Change Stream，您可以轻松实现数据同步、审计和实时监控等功能，提升应用程序的实时性和响应速度。

参考资料

[1] MongoDB Change Stream之一——上手及初体验 - 腾讯云. MongoDB Change Stream之一——上手及初体验-腾讯云开发者社区-腾讯云.

[2] mongodb - ChangeStreams使用及原理【转】转载 - 优快云博客. mongodb - ChangeStreams使用及原理【转】_使用db语法编写change streams-优快云博客.

[3] Change Stream源码解读 - MongoDB中文社区. https://mongoing.com/archives/75336.

[7] 变更事件 - MongoDB中文手册. 变更事件 | MongoDB-CN-Manual.

即将为你打开全新对话，一起畅聊新话题！

新建对话