8、数据变更捕获与事件驱动架构集成方法解析

数据变更捕获与事件驱动架构集成方法解析

1. 利用数据存储日志解放数据

1.1 工作流程

MySQL 数据库会发出其二进制变更日志。运行 Debezium 连接器的 Kafka Connect 服务会消费原始二进制日志。Debezium 解析数据并将其转换为离散事件。然后，事件路由器根据事件的源表将每个事件发送到 Kafka 中的特定事件流。下游消费者可以通过消费 Kafka 中的相关事件流来访问数据库内容。其流程可通过以下 mermaid 流程图展示：

graph LR
    A[MySQL数据库] -->|发出二进制变更日志| B[Kafka Connect服务（Debezium连接器）]
    B -->|解析数据| C[离散事件]
    C -->|根据源表路由| D[Kafka特定事件流]
    D -->|消费| E[下游消费者]

1.2 使用数据存储日志的优缺点

优点

• 删除跟踪 ：二进制日志包含硬记录删除，可直接转换为删除事件，无需像基于查询的更新那样进行软删除。
• 对数据存储性能影响小 ：对于使用预写日志和二进制日志的数据存储，变更数据捕获不会影响其性能；对于使用变更表的数据库（如 SQL Server），影响与数据量有关。
• 低延迟更新 ：事件写入二进制和预写日志后，更新即可传播，与其他数据解放模式相比，延迟极