Canal与RocketMQ的集成的思考与落地

本文详细介绍了如何基于RocketMQ-externals项目实现消费端,重点解析了MessageConnector的角色,包括SourceConnector、SinkConnector和Runtime。通过@RocketMQMessageListener注解的实现机制,展示了Spring初始化过程,包括Bean的注册和启动。同时,文章还探讨了消费端如何订阅主题和监听消息的流程。最后,提出了将RocketMQ与Canal集成的方案,通过扫描@RowDataChangeListener注解的类来处理数据。

前言

  1. 在实现RocketMQ消费端时,想参考一些标准写法,搜github了解到
    rocketmq-externals项目,于是展开介绍一下

Message Connector 简介

  1. 因为刚开始学习时用的是cannal的示例项目,想看看其他优秀框架是如何集成的,最终参考rocketmq-spring实现进行落地

消息路由(Message Connector)的几个概念:

  1. 简单理解Message Connector就是借RocketMQ、kafka等从某个系统获取数据,借助消费消息写入到其他系统。主要由Source Connector,Sink Connector、Runtime组成
    1.1 Source Connector负责从其它系统获取数据
    1.2 Sink Connector负责从Producer中消费消息,将数据写入到另外的系统
    1.3 Runtime是Source ,Sink connector的运行时环境,负责加载Connector,提供RESTful接口,启动Connector任务,集群节点之间服务发现,配置同步,消费进度保存,故障转移,负载均衡等能力
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值