docker-compose 安装 canal 后， springboot 监听没有rowdata

转载 已于 2023-12-15 23:05:42 修改 · 305 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/XUEJIA2S/article/details/105670413
文章标签：

#docker #容器 #运维

于 2023-12-15 23:04:28 首次发布
本文介绍了如何检查MySQLbin-log文件名和位置，删除Canal历史文件meta.dat，配置bin-log文件名，并在Docker中重启canal服务的过程。

1:  检查mysql  bin-log 文件名称和 position

2: 删除 canal的  历史文件 meta.dat

例如，我配置的test , 就删除 test下的 meta.dat

3: 配置文件添加 bin-log的文件名称

4: 重启 

docker-compose up -d canal

tang_jian_dong
关注
基于docker-compose部署canal
feichen2016的博客
09-03 4097
canal由来及相关介绍 需要了解canal框架介绍，安装及源码请参考wiki；基本安装过程及demo，官方git上都介绍的很清楚，强烈建议阅读git上相关介绍。 canal部署前Mysql相关设定 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mys...
docker搭建canal-server和canal-admin
weixin_40715787的博客
07-31 5475
上面两步完成后，使用java的canal客户端进行连接，可以看到定时获取binlog的日志打印，如果监控的库有更新插入，则会有相应的日志打印出来，要注意的问题是，使用了admin客户端和server连接后，我们的java客户端在连接的时候不能使用之前用的明文的密码canal进行连接，需要使用密文。再次启动java的canal-client，可以看到连接成功，正在定时获取binlog，如果监听的库有表的插入或更新，客户端就会打印出来。确实有，在mysql里面看看日志，到这里mysql就配置好了！...
解决问题：Canal客户端覆盖服务端Subscribe，只有TRANSACTIONBEGIN和TRANSACTIONEND日志，没有ROWDATA日志的问题
东皋长歌的专栏
04-28 559
在整合canal和Spring时，本地使用canal的subscribe方法订阅了需要监听的表，但是获得只有transactionbegin和transactionend两种eventType的日志， 没有rowdata类型的日志，导致无法完成监听数据库数据更新的需求。我们在覆盖客户端的订阅的时候，他在有的Issue上或者很多博客中也有回复使用.*\\..*会覆盖服务端配置，这样确实会，但是这样会所有的表都不能匹配到该正则上。3. canal下的以canal打头的表：canal\\.canal.*
Canal 问题排查（不抓取数据）
weixin_43390992的博客
11-07 5079
问题一： ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /192.168.1.50:3306 has an error, retrying. caused by com.alibaba.otter.canal.parse.exception.CanalParseException: can’t f...
Canal客户端覆盖服务端Subscribe | 只有TRANSACTIONBEGIN和TRANSACTIONEND日志
看不见鲸鱼的鼻子的博客
09-25 2593
Canal数据同步，接收不到Rowdata类型 问题描述如下图，只能接收到TRANSACTIONBEGIN和TRANSACTIONEND日志，收不到ROWDATA类型数据，所以问题还是出在正则表达式身上。由于我本身客户端也有一份订阅正则表达式，覆盖了本身的正则表达式，一度改为.*\\..*也不好使，所以一开始被迷惑掉了。我们再回顾一下他的规范 常见例子： 1. 所有表：.* or .*\\..* 2. canal schema下所有表： canal\\..* 3. canal下的以canal打头的表：ca
Canal不能同步mysql的修改数据解决方法---docker重装canal
awodwde的博客
02-14 1571
注意修改mysql的相关信息，提供的文档都有该配置，注意这里的id我们后面会用到 修改instance.properties，配置数据库连接地址，这里我在canal中的instance.properties文件中增加了绑定mysql的salaveid的值，原本它是注释掉的 使用命令 进入canal中，看 example目录下的meta.dat文件，如果canal成功监听到mysql，会显示出数据库的信息。由于使用他人提供好的虚拟机，meta文件已存在所以需要删除。 建议删除ca..
使用 Docker 部署 canal，并将消息推送到 RabbitMQ
m0_v648374的博客
04-07 546
docker-compose 文件：version: ‘3’services:canal-server:image: canal/canal-servercontainer_name: canal-serverrestart: unless-stoppednetwork_mode: hostports:volumes:./canal.properties:/home/admin/canal-server/conf/canal.properties./instance.properties:/home/adm
springboot集成canal
最新发布
qq_38899062的博客
08-03 2244
项目上需要一个app，但是他们没有公网服务器，所以就在自家公网服务器开了一个mysql，项目上的服务器是能访问外网的，所以canal完美适配了这个需求。原理简介：canal服务端模拟mysql主从协议伪装成从数据库，从而读取主库的binlog，我们使用canal客户端自定义数据同步规则。有点感叹需求就是最好的老师,但是完不成需求就不好玩了。具体命令根据你的服务器类型决定。
使用 Docker 部署 canal 服务，实现 MySQL 数据库 binlog 日志解析
AlwaysBeta 的专栏
12-13 1001
canal 是阿里巴巴开源的一个项目，主要用途是基于 MySQL 数据库 binlog 日志解析，提供增量数据订阅和消费。 基于日志增量订阅和消费的业务包括： 数据库镜像 数据库实时备份 索引构建和实时维护（拆分异构索引、倒排索引等） 业务 cache 刷新 带业务逻辑的增量数据处理 我这边主要在两个场景下使用： 一个是将变更数据实时同步到 Elasticsearch 和 Redis。 这里先说一下我目前的做法，一方面是全量数据定时同步，由于数据量比较大，同步时间比较长，所以数据也就不够实时。第二个方面
canal问题排查
热门推荐
my201110lc的博客
09-07 2万+
问题一： ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /192.168.1.50:3306 has an error, retrying. caused by com.alibaba.otter.canal.parse.exception.CanalParseException: can't...
canal 常见问题
wangbaosongmsn的博客
07-20 3966
https://blog.youkuaiyun.com/rainzqb/article/details/90408421 https://www.cnblogs.com/jice/p/11987909.html 16. 常见错误(https://www.cnblogs.com/shaozhiqi/p/11534658.html) 服务端：com.alibaba.otter.canal.par...
docker启动canal后无法监控mysql日志变化
RayPick的博客
12-05 1170
docker启动canal后无法监控mysql日志变化第一次docker run canal后，可以监控mysql的日志，启动java写的client端也有输出，然后我改了一下instance.properties，docker restart了一下canal容器，发现怎么也监控不到mysql的日志了，同时使用docker logs -f canal容器id 也看到没有任何的输出，首先我确定我配置的没有问题。但是反复重启发现依然是无法监控的情况。经过排查，发现mysql的canal用户用navicat工具居
SpringBoot整合Canal+RabbitMQ监听数据变更
2301_77463738的博客
06-02 3348
顺带一提，上面这段可以忽略，因为在SpringBoot的RabbitMQ配置中，会自动创建交换器exchange和队列queue，不过手动创建的话，可以在忽略SpringBoot的基础上，直接在RabbitMQ的管理页面上看到修改记录的消息。经过调研发现，使用Canal来监听MySQL的binlog变化可以实现这个需求，可是在监听到变化后需要马上保存变更记录，除非再做一些逻辑处理，于是我又结合了RabbitMQ来处理保存变更记录的操作。
canal 修改配置信息后监听不到mysql数据并报错can‘t find start position for example
weixin_44714376的博客
06-26 628
原文链接：https://blog.youkuaiyun.com/wuxiao_wei/article/details/118596656。（2）进入到配置信息example文件夹下 删除meta.dat 元数据。问题：修改配置信息后重启canal 但并无监听到数据库信息变化。（1）进入到canal 的logs下查看example.log。分析：canal 与数据库之间断层，导致信息传输失败。原由：数据库地址变化 canal 需要修改监听。可以理解为一份缓存文件 删除。(3)重启canal。
docker报错之路（2）sudo: docker-compose：找不到命令
muzlei的博客
08-11 7194
参考文档： 记一次sudo dokcer-compose报错(含安装方法) 场景再现： 普通权限下 docker-compose 正常 ➜ docker-compose -v docker-compose version 1.29.2, build unknown 但是 docker-compose up ... 某个yml文件时，提示权限不够 docker.errors.DockerE...
canal meta.dat引起数据同步问题
weixin_43776652的博客
05-11 4833
destination = example , address = rm-bp1735850pf3d3jnh.mysql.rds.aliyuncs.com/172.18.48.45:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address rm-bp1735850pf3d3jnh.mysql.rds.aliyuncs.com/172.18.48.45:3306 has an..
canal实战问题汇总分析
nandao158的博客
12-26 1130
canal实战问题汇总分析
docker-compose命令不存在、docker-compose not found
大健的日常的博客
08-08 2万+
docker-compose not found、docker-compose命令不存在 　　centos 7中python-pip模块不存在，是因为像centos这类衍生的发行版，源跟新滞后，或者不存在。即使使用yum去search python-pip也找不到软件包。 　　为了使用安装滞后或源中不存在的安装包，需要安装扩展源EPEL。扩展源EPEL(http://fedorapro
使用canal数据同步的踩坑
weixin_44188501的博客
07-16 1万+
先上配置 开启mysql 的binlog功能 1、修改 mysql 的配置文件 my.cnf vi /etc/my.cnf 追加内容： log-bin=mysql-bin #binlog文件名 binlog_format=ROW #选择row模式 server_id=1 #mysql实例id,不能和canal的slaveId重复 2、重启 mysql：service mysql restart 3、登录 mysql 客户端，查看 log_bin 变量 m
Docker-Compose部署Canal教程：快速配置与运行
### Docker-Compose编排Canal一键快速部署运行知识点详解 #### 一、环境准备 ##### 1. Docker与Docker-Compose基础 Docker是一个开源的应用容器引擎，可以让我们“打包”应用以及应用的依赖包到一个可移植的容器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值