接过火炬,升级canal-client-springboot-starter,一个支持rabbitmq的CanalClient

com.alibaba.otter

canal.protocol

${canal-client.version}

探索结果

本来想在canal-client-springboot-starter中集成rabbitmq,但是发现官方提供的canal.client jar包中没有rabbitmq相关的连接包,自己再去扩展的话还得去编译canal的源码——暂时只好放弃。

Exception in thread “canal-client-thread” java.lang.NoClassDefFoundError: com/rabbitmq/client/ConnectionFactory

at com.alibaba.otter.canal.client.rabbitmq.RabbitMQCanalConnector.connect(RabbitMQCanalConnector.java:67)

at top.javatool.canal.client.client.RabbitMqCanalClient.process(RabbitMqCanalClient.java:34)

at java.lang.Thread.run(Thread.java:748)

Caused by: java.lang.ClassNotFoundException: com.rabbitmq.client.ConnectionFactory

at java.net.URLClassLoader.findClass(URLClassLoader.java:382)

at java.lang.ClassLoader.loadClass(ClassLoader.java:418)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)

at java.lang.ClassLoader.loadClass(ClassLoader.java:351)

… 3 more

RabbitMQCanalConnector.java连接rabbitmq的部分源码。

public void connect() throws CanalClientException {

ConnectionFactory factory = new ConnectionFactory();

if (accessKey.length() > 0 && secretKey.length() > 0) {

factory.setCredentialsProvider(new AliyunCredentialsProvider(accessKey, secretKey, resourceOwnerId));

} else {

factory.setUsername(username);

factory.setPassword(password);

}

factory.setHost(nameServer);

factory.setAutomaticRecoveryEnabled(true);

factory.setNetworkRecoveryInterval(5000);

factory.setVirtualHost(vhost);

try {

connect = factory.newConnection();

channel = connect.createChannel();

} catch (IOException | TimeoutException e) {

throw new CanalClientException(“Start RabbitMQ producer error”, e);

}

}

不过也是,截止2021年10月26日,canal官方推荐的正式版本仍然是1.1.4,对客户端支持rabbitmq还没有做足够的支持。

二、最终方案


参考canal-client-springboot-starter自己构建了一个easy-canal-client的项目。

源码已开源:https://gitee.com/cowboy2014/easy-canal-client.git

架构示意图如下:

2-1 canal server升级1.1.5

canal需要升级为1.1.5,canal把binlog数据解析完成后,就把数据直接投递给rabbitmq了——1.1.5可以把数据直接投递给rabbitmq。

canal.properties参考配置:

tcp, kafka, rocketMQ, rabbitMQ

canal.serverMode = rabbitMQ

##################################################

######### RabbitMQ #############

##################################################

rabbitmq.host = 172.16.150.11

rabbitmq.virtual.host = /

rabbitmq.exchange = canal-exchange

rabbitmq.username = canal

rabbitmq.password = canal%123

rabbitmq.deliveryMode =

conf/example/instance.properties参考配置:

position info

canal.instance.master.address=172.16.150.12:3306

username/password

canal.instance.dbUsername=canal

canal.instance.dbPassword=canal%123

table regex

canal.instance.filter.regex=lpm-center\.lpm_(park|company|store|route)

mq config

canal.mq.topic=shangwt

2-2 业务模块集成Rabbitmq

业务模块直接集成rabbitmq,作为消费者进行数据的解析、同步。

2-2 使用方法

1. 新建Handler,用@CanalTable注解标注

@Component

@CanalTable(value = “lpm_park”)

@Slf4j

public class ParkHandler implements EntryHandler {

@Resource

private ElSearchParkServiceImpl elSearchParkService;

@Resource

private EsIndexes esIndexes;

@Override

public void insert(Park park) {

log.info(“insert message {}”, park);

try {

elSearchParkService.synchronous(esIndexes.getPark(), park.getId());

} catch (IOException e) {

log.error(“es insert wrong!”);

}

}

@Override

public void update(Park before, Park park) {

try {

if (ObjectUtil.isNotEmpty(before.getDeleted()) && !before.getDeleted().equals(park.getDeleted()) && park.getDeleted() == 1){

this.delete(park);

}

if (ObjectUtil.isNotEmpty(before.getDeleted()) && !before.getDeleted().equals(park.getDeleted()) && park.getDeleted() == 0){

this.insert(park);

}

elSearchParkService.synchronous(esIndexes.getPark(), park.getId());

} catch (IOException e) {

log.error(“es insert wrong!”);

}

log.info(“update after {}”, park);

}

@Override

public void delete(Park park) {

log.info(“delete {}”, park);

elSearchParkService.deleteById(esIndexes.getPark(), park.getId().intValue());

}

}

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

最后

即使是面试跳槽,那也是一个学习的过程。只有全面的复习,才能让我们更好的充实自己,武装自己,为自己的面试之路不再坎坷!今天就给大家分享一个Github上全面的Java面试题大全,就是这份面试大全助我拿下大厂Offer,月薪提至30K!

我也是第一时间分享出来给大家,希望可以帮助大家都能去往自己心仪的大厂!为金三银四做准备!
一共有20个知识点专题,分别是:

Dubbo面试专题

JVM面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

Java并发面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

Kafka面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

MongDB面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

MyBatis面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

MySQL面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

Netty面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

RabbitMQ面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

Redis面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

Spring Cloud面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

SpringBoot面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

zookeeper面试专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

常见面试算法题汇总专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

计算机网络基础专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南

设计模式专题

这个GItHub上的Java项目开源了,2020最全的Java架构面试复习指南
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
片转存中…(img-TPNJkVtW-1713704590862)]

zookeeper面试专题

[外链图片转存中…(img-YHPzc4BF-1713704590862)]

常见面试算法题汇总专题

[外链图片转存中…(img-3cCkeZJ5-1713704590862)]

计算机网络基础专题

[外链图片转存中…(img-bHiP38JD-1713704590862)]

设计模式专题

[外链图片转存中…(img-c3PBeeCI-1713704590862)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值