kafka-connect流程梳理

最新推荐文章于 2024-09-25 08:37:34 发布

奔放的川哥

最新推荐文章于 2024-09-25 08:37:34 发布

阅读量704

点赞数

分类专栏： kafka java

本文链接：https://blog.youkuaiyun.com/jc18510682557/article/details/102939837

版权

本文深入解析了Kafka Connect的工作流程，包括创建连接器、协调者的作用、任务分配以及WorkerTask的执行过程。从提交连接器配置到启动Connector和Task，再到Consumer的订阅操作，揭示了Kafka Connect内部的详细步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

根据使用方式，解析connect整体流程：
1：post /connectors 创建connect
   KafkaConfigBackingStore.putConnectorConfig(name,config)
       topic : config.storage.topic -> 存储connector配置
分析：KafkaConfigBackingStore 该类持有了 "config.storage.topic"，该topic存储的是所有connector的配置以及状态（name,config,state）
该类提供了connector config的增删改查操作，
哪里使用了这个类来控制connector呢？
AbstractHerder: 通过 KafkaConfigBackingStore 对 connector提供了pause()、resume()方法来操作connector
   public void pauseConnector(String connector)
   public void resumeConnector(String connector)
WorkerCoordinator: 看名字是一个协调者，具体协调了什么还需要分析？
   public List<ProtocolMetadata> metadata():
       1：首先获取了connector config的当前快照，用于生成了一个ConnectProtocol.workerState,ConnectProtocol用于进行group间通信的协议，例如joinGroup、syncGroup等
       2：该方法被用于干啥了呢？
           AbstractCoordinato