Pathway项目中使用Debezium连接器实现MongoDB实时数据处理-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00687/article/details/148361146

Pathway项目中使用Debezium连接器实现MongoDB实时数据处理

pathway Pathway is an open framework for high-throughput and low-latency real-time data processing. 项目地址: https://gitcode.com/gh_mirrors/pa/pathway

概述

在现代数据架构中，实时数据处理能力变得越来越重要。Pathway项目提供了一种高效的方式来处理实时数据流，而MongoDB作为流行的NoSQL数据库，经常需要与实时处理系统集成。本文将详细介绍如何使用Pathway的Debezium连接器实现MongoDB的实时数据变更捕获(CDC)和处理。

技术架构

核心组件

整个解决方案由以下几个关键组件构成：

MongoDB：作为数据源，存储原始数据
Debezium：负责捕获MongoDB中的数据变更
Kafka：作为消息中间件，传递变更事件
ZooKeeper：协调Kafka集群
Pathway：实时处理引擎，执行计算逻辑

数据流向

数据处理的完整流程如下：

MongoDB中的数据变更被Debezium捕获
Debezium将变更事件发送到Kafka
Pathway从Kafka消费这些事件
Pathway执行预定义的计算逻辑
计算结果写回MongoDB

环境准备

Docker Compose配置

使用Docker Compose可以简化多服务环境的搭建。以下是关键服务的配置说明：

MongoDB服务

mongodb:
  container_name: mongodb
  image: mongo
  command: ["--replSet", "rs0", "--port", "27017"]
  healthcheck:
    test: echo "try { rs.status() } catch (err) { rs.initiate({_id:'rs0',members:[{_id:0,host:'mongodb:27017'}]}) }" | mongosh --port 27017 --quiet
    interval: 5s
    timeout: 120s

关键点说明：

必须配置副本集(Replica Set)才能支持Debezium的CDC功能
健康检查脚本会自动初始化副本集

数据生成器

import time
from pymongo import MongoClient

client = MongoClient("mongodb://mongodb:27017/?replicaSet=rs0")
db = client["test_database"]
collection = db["values"]
for i in range(1, 1001):
    collection.insert_one({"value": i})
    time.sleep(0.5)

这个脚本会每隔0.5秒向MongoDB插入一个包含递增数值的文档。

Debezium连接器配置

#!/bin/bash

curl -H 'Content-Type: application/json' debezium:8083/connectors --data '{
  "name": "values-connector",
  "config": {
    "connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
    "mongodb.hosts": "rs0/mongodb:27017",
    "mongodb.name": "my_mongo_db",
    "database.include.list": "test_database",
    "database.history.kafka.bootstrap.servers": "kafka:9092",
    "database.history.kafka.topic": "dbhistory.mongo"
  }
}'

Pathway数据处理实现

核心代码解析

import pathway as pw

# 设置许可证密钥(社区版可注释此行)
pw.set_license_key("demo-license-key-with-telemetry")

# Kafka连接配置
input_rdkafka_settings = {
    "bootstrap.servers": "kafka:9092",
    "security.protocol": "plaintext",
    "group.id": "0",
    "session.timeout.ms": "6000",
    "auto.offset.reset": "earliest",
}

# 定义输入数据模式
class InputSchema(pw.Schema):
    value: int

if __name__ == "__main__":
    # 从Debezium读取数据
    t = pw.io.debezium.read(
        input_rdkafka_settings,
        topic_name="my_mongo_db.test_database.values",
        schema=InputSchema,
        autocommit_duration_ms=100,
    )

    # 计算value字段的和
    t = t.reduce(sum=pw.reducers.sum(t.value))

    # 将结果写入MongoDB
    pw.io.mongodb.write(
        t,
        connection_string="mongodb://mongodb:27017/?replicaSet=rs0",
        database="my_mongo_db",
        collection="sum_values",
    )
    
    # 同时将结果写入CSV文件
    pw.io.csv.write(t, "output_stream.csv")

    # 启动计算
    pw.run()