深入Canal解构消息队列单点性能瓶颈

最新推荐文章于 2024-12-08 12:23:27 发布
最新推荐文章于 2024-12-08 12:23:27 发布
阅读量640 收藏 8
点赞数 11
分类专栏： CDC领域 文章标签： etl java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36211262/article/details/135816983
版权
本文讲述了在使用Canal订阅binlog过程中遇到的消息默认发送问题，作者通过探索解决方案、深入源码分析，最终发现并解决分区配置导致的单点性能问题，揭示了DDL操作的特殊行为。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 业务场景

在使用Canal订阅binlog的过程中，我们观察到一个现象：尽管有大量的Topic，消息却默认发送到MQ的第一个队列。这导致当消费者服务启动并查询动态注册的消费者时，只有最先启动的消费者能够注册大量消费者，进而造成单点性能问题。

2. 解决方案探索

首先想到的是从消费者端进行负载均衡

思路1：

原来的消费者服务作为代理服务，负责转发消息到新的Topic，然后新增一个消费者服务，消费新的Topic

逻辑处理清晰易懂，但是需要新增一个服务

思路2：在原来的消费者服务基础上，进行负载均衡，按照表名进行Hash。不同的服务消费对应的Topic

目测可行，由于下面找到问题的根本原因，所以没试

3. 深入Canal源码

在我开始阅读Canal的源码时，我们发现在初始化canalMQProducer.init时，会构建一个线程池，这个线程池管理着对不同RocketMQ队列的消息发送任务。进一步的研究让我们找到了partitionsNum和partitionHash这两个关键的参数配置在这里插入图片描述
下面贴出我们生产上当时的配置

canal
最低0.47元/天 解锁文章
实现canal监控binlog日志再通过消息队列异步处理
qq_44845473的博客
12-15 1315
Canal是一款开源的基于Java的MySQL数据库增量订阅&消费组件，它可以帮助我们实时监控MySQL的Binlog日志，并将数据推送到消息队列中进行异步处理。可靠性：消息队列可以提供消息的持久化机制，即使在消息队列出现故障或重启的情况下，更新缓存的消息不会丢失。扩展性：通过消息队列，可以将缓存更新的任务分发到多个消费者进行处理，实现任务的并行处理，提高系统的扩展性和负载能力。创建Canal实例：使用Canal提供的命令行工具或API，创建一个Canal实例，指定要订阅和监控的数据库和表。
十五、寻龙队列术——数据队列：基于Canal实现数据异构
流楚丶格念的博客
08-30 2万+
Canal是阿里开源的一款基于MySQL数据库binlog的增量订阅和消费组件，通过 它可以订阅数据库的binlog 0志，然后进行一些数据消费，如数据镜像、数据异构、数 据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序性和一致性。Canal架构如下图所示。MySQL数据库首先需要部署canal server,可以同时部署多台，但是只有一台是活跃的，其他的作 为备机。canal server会通过slave机制订阅数据库的binlog H志。
canal消耗服务器性能吗,CanalServer 是否存在性能瓶颈
weixin_32661017的博客
08-13 727
canal上部署了51个实例，client(消费所有的实例)与canal部署在同一台服务器上，并且服务器上无其他服务。client实现初始化连接// 根据ip，直接创建链接，无HA的功能CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(hostIp, port), destinat...
基于Canal以及消息队列实现MySQL的Binlog近实时同步
qq_45072555的博客
02-24 3036
canal 搭配消息队列实现MySQL的Binlog近实时同步
canal搭建消息发送平台——发送微信模板消息
jingshenbusi的博客
07-06 527
Canal服务端搭建：https://github.com/alibaba/canal/wiki/QuickStartCanal配置文件说明：https://github.com/alibaba/canal/wiki/AdminGuideClientAPI：https://github.com/alibaba/canal/wiki/ClientAPI微信使用weixin-java-tools：ht...
Canal的详细解释（小白无痛版！！！）
最新发布
weixin_44748929的博客
12-08 1304
Binlog，全称Binary Log（二进制日志），是 MySQL 的一种日志文件，主要用来记录数据库的所有写操作，比如INSERTUPDATEDELETE，但是不记录查询操作（SELECT它的作用相当于一个“黑匣子”✈️：👉记录数据库发生过的改变；👉重播这些改变，实现恢复或者同步。
【Canal+消息队列】：构建高效率数据变更分发系统的秘诀
首先概述消息队列与Canal，然后详细阐述Canal的工作机制、安装部署与配置优化。接着深入构建高效的数据变更分发系统，包括数据变更捕获技术、数据一致性保证以及系统高可用与扩展性设计。文章还探讨了Canal在实时...
深入浅出Otter与Canal.pdf
02-29
根据提供的文件信息，我们可以提取以下IT知识点： 1. Otter系统介绍： ...此外，zookeeper在分布式系统中的重要性，以及灵活的系统架构设计原则，都是我们在构建和维护此类系统时需要深入理解的关键知识点。
Canal内存队列的设计
TheOne的博客
05-21 1054
canal内存队列模拟了ringbuffer的实现，本质上是一个生产-消费模型的实现，所以在很多put、get和ack的操作存在对同一个型号量的await和signal操作。除此之外还需要不断保证ackSequence、putSequence和getSequence三者之间关系的保持和计算，对内存使用也有一定的限制。内存队列中的其他方法实现就不列举了(嘻嘻)，详细可以看下下面老哥的博客介绍。
测试canal的数据堆积能力，如果canal可以堆积数据，那么就不需要消息队列来堆积。
zhanlanmg的专栏
04-21 8073
测试canal的数据堆积能力，如果canal可以堆积数据，那么就不需要消息队列来堆积。结果发现 1. 如果不确认数据，每次连接后都会从第一次获取，但是由于canal不能根据时间获取数据，所以也是不方便的。 2. 由于canal会维护一个连接的clientId，所以已经连接的会一直获取的是下一次下一次的数据，是连续的数据。只要不确认数据，重新添加一个连接时，都会获取到完整的数据。 3. 另外，c
使用 Docker 部署 canal，并将消息推送到 RabbitMQ
m0_v648374的博客
04-07 459
docker-compose 文件：version: ‘3’services:canal-server:image: canal/canal-servercontainer_name: canal-serverrestart: unless-stoppednetwork_mode: hostports:volumes:./canal.properties:/home/admin/canal-server/conf/canal.properties./instance.properties:/home/adm
4.Canal-Canal性能测试
爱欧米
05-18 2646
最近项目需要需要变更数据，项目的数据链条Mysql(binlog)-->Canal-->RocketMq-->ES。由于以前生产环境出现Canal消费不及时导致堵塞发生故障，故本次在测试环境上测试Canal性能。本次压测的目的：第一个目的：测试出Canal的吞吐量，为生产环境数据切割做参考，第二个目的：找到导致Canal性能问题的原因，为后续的优化及项目架构做准备。 一、硬件配置 硬件环境 Canal节点环境 CPU 内存 磁盘读写速度 vm-lw-basic-
一起来学高性能数据同步系统Canal
BestQiang的博客
07-30 937
Canal简介 canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新
Canal+RabbitMQ实现MySQL数据同步至ClickHouse
zjyy1987的博客
01-03 1647
ClickHouse作为一个被广泛使用OLAP分析引擎，在执行分析查询时的速度优势很好的弥补了MySQL的不足，但是如何将MySQL数据同步到ClickHouse就成了用户面临的第一个问题。消息生产者并没有直接将消息发送给消息队列，而是通过建立Exchange（交换器）和Channel（信道），将消息发送给Exchange，Exchange根据routing key，将消息转发给指定的Queue(消息队列)。targetTable: 目标库的目标表，不需要带数据库名称，否则会出现：库名.库名.表名的错误。
爷青回，canal 1.1.6来了，几个重要特性和bug修复
阿丸笔记
05-27 1466
刚刚在群里看到消息说，时隔一年，canal 1.1.6正式release了，赶紧上去看看有什么新特性。
拉取 binlog，自动数据同步，老板要给涨工资....
weixin_44742132的博客
01-10 507
大家好，我是Tom哥~MySQL 数据库大家一定都不陌生，今天跟大家聊聊数据同步的事关于数据同步，我们常见的策略就是 同步双写、异步消息1、同步双写：字面意思，同步+双写。比如老库模型重构...
了解canal，看这个就够了
遥望......
09-15 1131
一. canal概述 canal是Alibaba旗下的一款开源项目,纯Java开发.它是基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持mysql。 应用场景： 1.数据同步，比如：做在线、离线数据库之间的数据同步操作； 2.数据消费，比如：需要根据关注的数据库表的变化，做搜索增量； 3.数据脱敏，比如：需要将线上动态数据导入到其他地方，做数据脱敏。 二. canal工作原理 1. mysql主备复制实现 (1) master将改变记录到二进制日志(binary .
canal实战（二）：使用canal-kafka实现数据库增量实时更新
桃花惜春风
08-27 1万+
canal是阿里的一款开源工具，纯java开发，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。 工作原理 mysql主备复制实现 从上层来看，复制分成三步： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events
Canal原理及其使用
热门推荐
fighting
02-08 3万+
1 什么是canal   canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal） 2 canal使用场景   （1）阿里otter（阿里用于进行异地数据库之间的同步框架）中间件的一部分，这是原始场景   （2）更新缓存：如果有大量的请求发送到mysql的话，mysql查询速度慢，QPS上不去，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值