canal的INVALID_TOPIC_EXCEPTION问题

最新推荐文章于 2023-12-05 10:46:05 发布
原创 最新推荐文章于 2023-12-05 10:46:05 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#big data #database #mysql

本文解决启动Canal时遇到的INVALID_TOPIC_EXCEPTION错误。通过在canal.instance.properties文件中正确配置canal.mq.topic参数来避免此问题。即使消息不匹配dynamicTopic，也能确保消息正常发送。
启动canal，canal.log存在INVALID_TOPIC_EXCEPTION问题
 [kafka-producer-network-thread | producer-2] WARN  org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-2] Error while fetching metadata with correlation id 7168 : {=INVALID_TOPIC_EXCEPTION}
解决方案

canal instance.properties需要打开canal.mq.topic参数
canal.mq.topic 这一项最好不要注释,可以创建一个不适用的topic配置该项

# mq config
canal.mq.topic=xxxx

原因:如果有一些不符合dynamicTopic匹配的语句的消息会发送到该topic而避免报错 INVALID_TOPIC_EXCEPTION

canalDemo实时同步mysql数据库数据介绍
科学的N次方
12-31 337
一、环境介绍 canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases 搭建环境：Centos6.5 64位 二、部署canal server （参考：https://github.com/alibaba/canal/wiki/QuickStart） 1.下载canal server https://github.com/alibaba/canal/releases/download/can...
大数据平台hbase,phoenix,spark搭建和研发问题和解决方式汇总
weixin_43654136的博客
12-04 3669
#Q Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get $A <hadoop.version>2.7.3</hadoop.version> #Q Caused by: java.net.UnknownHostException: mycluster $...
Canal有关dynamicTopic出现的INVALID_TOPIC_EXCEPTION问题
m0_48043632的博客
08-13 2779
INVALID_TOPIC_EXCEPTION产生原因分析 亲测有效(虽然不一定是最完美的解决办法) 1 .topic命名原则 topic命名最好不要带下划线"_",容易和kafka默认topic产生冲突 2.注意canal.mq.dynamicTopic的使用 ①canal.instance.filter.regex,后面配置该mysql下,你要监听的数据库下的对应的表,例如 canal.instance.filter.regex=user1.table1,user2.table2,user3.table
Springboot：kafka运行成功，报错InvalidTopicException
stay
12-05 1888
官方说法：The client has attempted to perform an operation on an invalid topic. For example the topic name is too long, contains invalid characters etc. This exception is not retriable because the operation won't suddenly become valid.
修改kafka源码,编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException
大数据训练营
10-30 1万+
编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException: topic name kafka:h5_send_msg is illegal, contains a character other than ASCII alphanumerics, '.', '_' and '-' 一: 背景说明 异常信息: [2017-10-2
flume 对接 kafka 报错： Error while fetching metadata with correlation id 35 {=INVALID_TOPIC_EXCEPTION}
stable_zl的博客
03-08 4104
flume 对接 kafka 报错：Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION} 特此写篇博客记录一下自己一个 sb 的问题（看见日志以后熟视无睹，反而以为框架有问题了） 在写用 flume 获取 hive 日志中的文件，在拦截器种依据 INFO、WARN、ERROR、DEBUG ...
kafka no record information is available
Jia__xin的博客
11-17 9809
kafka no record information is availablespringcloud-config-bus报错解决 springcloud-config-bus报错 [KafkaConsumerDestination{consumerDestinationName='springCloudBus', partitions=1, dlqName='null'}.container-0-C-1] ERROR o.s.k.l.KafkaMessageListenerContainer$Liste
maxwell + kafka + bireme传统数仓实时同步方案
qq_27960935的博客
03-24 866
文章目录1. mysql(maridb) 开启binlog1.2 创始用户及表2. maxwell2.1 输入到控制台2.2 输出到kafak2.2.1 kafak-topic2.2.2 配置3. bireme 1. mysql(maridb) 开启binlog SHOW VARIABLES LIKE '%log_bin%'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin
Canal-adapt部署遇到的小坑-java.lang.IllegalArgumentException: Could not resolve placeholder ‘GROUP[1]‘ in v
zhang5324496的博客
11-04 881
背景: 使用 canal+ kafka + canal-adapt。 将 源数据库mysql0 实时同步到 目的数据库mysql2。 数据流向 Mysql0 -> canal -> kafka -> canal-adapt -> Mysql2 按照官网的demo步骤进行配置。后运行报错 2021-10-25 19:45:16.358 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoade.
canal无法往kafka同步，报错TimeoutException: Failed to update metadata after 60000 ms
雅冰石的专栏
03-23 5231
一 问题描述 canal往kafka同步报错，数据无法同步。 canal instance报错：ERROR com.alibaba.otter.canal.kafka.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms canal server也有报错：
Java 日看一类（30）之IO包中的InterruptedIOException、InvalidObjectException异常类
github_37666068的博客
03-21 5892
这次讲述的类可能有一点多，不过每个类的内容都比较少（异常类没多少内容代码）InterruptedException类无引入包继承自IOException类头注释如下/** * Signals that an I/O operation has been interrupted. An * <code>InterruptedIOException</code> is th...
canal-随记001-吐血一个下午找bug
daxianqin6752的博客
04-28 264
前天leader说，阿里的新版本canal支持 canal收集binlog直接发到kafka，你要不研究一下？ ok，没问题。 昨天周六，在家搭了套环境。解决centos7安装mysql各种小细节，按照阿里github上的步骤来做。终于，还是没有跑起来。。 但是根据现象：一旦往mysql表中插入数据，查看canal.log就会有日志滚动更新，只是不是我想要的内容。。。 日志如下：...
EXCEPTION_RECORD structure
当蝴蝶在南半球拍了两下翅膀，它就会稍微飞高一些。
01-25 6458
Describes an exception.描述异常的结构体 Syntax C++ typedef struct _EXCEPTION_RECORD { DWORD                    ExceptionCode; DWORD                    ExceptionFlags; struct _EXCEPT
第四步：kafka中建立kafka-topics 源代码内幕解密
大模型与Agent智能体
05-03 5493
第四步：kafka中建立kafka-topics 源代码内幕解密 kafka-topics.sh --create 脚本命令执行create topic语句，进入到kafka.admin.TopicCommand类，main方法中执行createTopic方法，然后一步一步的跟踪下去，topic在zooker中持久化保存topic的元数据。从而建立一个topic主题   1、kafka-t
Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 正确处理姿势
热门推荐
AI
05-18 13万+
kafka出现:Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}表示无法识别kafka hostname正确处理姿势1、修改server.properties如下，目的是让kafka监听的到vi /opt/kafka/kafka/config/server.properties2 ps...
Kafka 异常错误集
野狼e族 的博客
05-24 2469
1、启动生产者进程：[root@VM_0_16_centos config]#  kafka-console-producer.sh --broker-list  hadoop000:9092 --topic testsss[2018-05-08 22:56:08,946] WARN Error while fetching metadata with correlation id 0 : {te...
Kafka主题(Topic)的管理
通往神秘的道路的专栏
11-10 7400
主题的管理包括创建主题、 查看主题信息、修改主题和删除主题等操作。可以通过 Kafka 提供的 kafka-topics.sh 脚本来执行这些操作，这个脚本位于 $KAFKA_HOME/bin/目录下，其核 心代码仅 有一行，具体如下 : exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 可以看到其实质上是...
创建canal_manager数据库
最新发布
04-30
好的，我现在需要帮助用户解决如何在Docker部署Canal Admin时创建canal_manager数据库的问题。用户之前已经询问过Docker部署Canal Admin的步骤，现在他明确要创建这个数据库。我需要参考用户提供的引用内容以及之前...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值