canal.client 源码分析

最新推荐文章于 2024-05-06 09:44:17 发布

原创

最新推荐文章于 2024-05-06 09:44:17 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许不得转载。

文章标签：

#Canal #源码分析

本文详细分析了Canal客户端的设计，包括功能概述、类设计和HA实现。CanalConnector接口提供了连接、订阅、获取数据等操作。SimpleCanalConnector和ClusterCanalConnector分别实现了直接连接和基于ZooKeeper的HA集群连接。HA实现利用ZooKeeper的分布式锁和Watcher机制，确保客户端高可用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、整体设计
二、类设计
- 2.1 CanalConnector
三、HA 实现
- 3.1 实现原理
- - 3.1.1 ZooKeeper 分布式锁原理
  - 3.1.2 Client HA 具体实现

一、整体设计

1.1 功能概述

封装与 Canal Server 进行交互的客户端，提供两种实现给外部使用：

简单连接：直接通过 socket 与 server 进行交互，实现连接、订阅、批量获取、提交和回滚等操作。
有 HA 的 Cluster 连接：基于简单连接方式进行封装，通过 ZooKeeper 实现 client 端的 HA。

1.2 目录结构

其中 kafka 包和 rocketmq 包实现了接收到的消息直接发送到消息队列中，目前先重点关注与服务端的交互和消息的处理流程，后续会重点关注 kafka 包的实现，为目前生产上 C/S 端分离 ==> 集成 的改造做准备。

1.3 核心类

核心类类图

ClientIdentity
canal client 和 server 交互之间的身份标识，目前 clientId 写死为 1001（目前 canal server 上的一个 instance 只能有一个 client 消费，clientId 的设计是为 1 个 instance 多 client 消费模式而预留的，暂时不需要理会）。
CanalConnector
SimpleCanalConnector / ClusterCanalConnector：两种 connector 的实现，simple 针对的是简单的 IP 直连模式，cluster 针对多 IP 的模式，可依赖 CanalNodeAccessStrategy 进行 failover 控制。
CanalNodeAccessStrategy
SimpleNodeAccessStrategy / ClusterNodeAccessStrategy：两种 failover 的实现，simple 针对给定的初始 IP 列表进行failover选择，cluster 基于 ZooKeeper 上的 cluster 节点动态选择正在运行的 canal server。
ClientRunningMonitor / ClientRunningListener / ClientRunningData
client running 相关控制，主要为解决 client 自身的 failover 机制。canal client 允许同时启动多个 canal client，通过 running 机制，可保证只有一个 client 在工作，其他 client 做为冷备。当运行中的 client 挂了，running 会控制让冷备中的 client 转为工作模式，这样就可以确保 canal client 也不会是单点。保证整个系统的高可用性。ClientRunningData 对应 ZooKeeper 上的 /otter/canal/destinations/xxx/1001 节点数据。