kafka生产者报错Failed to update metadata after 60000 ms.

canal无法往kafka同步,报错TimeoutException: Failed to update metadata after 60000 ms 一 问题描述 canal往kafka同步报错,数据无法同步。 canal instance报错:ERROR com.alibaba.otter.canal.kafka.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms canal server也有报错: 阅读详情
AI摘要

在本地开发Kafka消费者和生产者时遇到Failed to update metadata after 60000ms错误。问题根源在于项目使用的Kafka版本(1.2.0)与服务器版本(0.9.0)不一致。通过查看其他项目组代码,发现需将Kafka客户端版本降至0.9.0以匹配服务器,修改后问题得到解决。

背景

由于新增一个对接渠道,系统要对Kafka的消息进行消费,由于对接方目前没有环境,所以自己本地开发,并且使用环境中的一台kafka作为开发使用,本地自己设置producer和consumer,分别作为生产者和消费者。

producer

在这里插入图片描述

consumer

在这里插入图片描述

问题

同样的topic和groupid,但是在使用的过程中,在producer提供消息的时候,出现了Failed to update metadata after 60000 ms.

网上搜索多数都是要求更改kafka的配置文件中的信息,但是此kafka服务器是共有的,其他程序也是在完美运行中,因此不会是配置问题。

尝试

调整生产者和消费者代码,用新的bean方式,最终还是不行。
调整生产者和消费者的配置,保障唯一性,还是一样的问题。

解决

由于kafka维护在其他项目组人员下面,且有其他项目组使用,查看其他项目组的代码,发现kafka的版本是0.9.0,我们项目中没有对kafka单独引入依赖,默认集成在org.springframework,默认是1.2.0。。。。由于我们是client客户端,所以需要单独配置一下pom。更改版本为0.9.0即可。

在这里插入图片描述
困扰一下午的问题得以解决。。。。

Debian 10 手动部署 Kafka 3.6.1 实战指南 Apache Kafka 是一种高吞吐、分布式、持久化的消息流处理系统,其核心原理基于发布-订阅模型、分区副本机制与 ZooKeeper(或 KRaft)协调服务。技术价值在于解耦微服务、支撑实时数据管道与事件驱动架构。典型应用场景包括日志聚合、用户行为追踪、订单异步处理及流式计算前置缓冲。在 Debian 10 这类长期支持(LTS)发行版中,因官方 APT 源不提供 Kafka 包,且依赖 Java 运行时与严格版本对齐的 ZooKeeper,必须采用二进制直装方式完成 instalar。本文聚焦 Ka 阅读详情

相关推荐

Kafka SCRAM-SHA-512认证实战:从原理到Spring-Kafka 2.1.11集成

在分布式消息系统中,身份认证是保障数据安全传输的基础环节。SASL(Simple Authentication and Security Layer)作为标准认证框架,通过插件化机制支持多种认证方式。其中SCRAM(Salted Challenge Response Authentication Mechanism)采用挑战响应模式,结合加盐哈希技术,实现了密码不在网络中明文传输、抵御彩虹表攻击的安全特性。这种机制在提供企业级安全性的同时,避免了Kerberos等方案的复杂部署,成为Kafka生产环境安全加

weixin_33906657的博客 306

canal Failed to update metadata after 60000 ms 等问题解决

Failed to update metadata after 60000 ms com.alibaba.fastsql.sql.parser.ParserException: syntax error, error in : 'cur ; UNKNOWN_TOPIC_OR_PARTITION INVALID_TOPIC_EXCE

LZX的博客 7385

Debian 10 手动安装 Apache Kafka 生产级部署指南

Apache Kafka 是一种高吞吐、低延迟的分布式事件流处理平台,其核心原理基于发布-订阅模型、分区日志存储与 ZooKeeper(或 KRaft)元数据协调机制。技术价值体现在解耦微服务、支撑实时数据管道和保障消息有序性与持久性。典型应用场景包括日志聚合、流式分析、CDC 数据同步及边缘计算消息总线。在 Debian 10 等 LTS 服务器环境中,因官方源不提供 Kafka 包、Java 运行时版本敏感、systemd 服务管控要求严格,原生二进制部署成为保障稳定性与可维护性的关键实践。本文聚焦 K

weixin_38166557的博客 402

关于org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.问题的解决

关于org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.问题的解决 今天在测试自己编写的kafka消息发送接收小例子时,一直报org.apache.kafka.common.errors.TimeoutException: Failed to update metadat...

weixin_42558056的博客 2万+

Debian 10 上 Kafka 3.5.2 生产级部署实战指南

Apache Kafka 是分布式流处理的核心中间件,其本质是基于 JVM 的高吞吐、低延迟消息系统,依赖 Java 运行时、协调服务(ZooKeeper/KRaft)及精细的系统资源配置。在 Debian 10 等长期支持(LTS)发行版中,因内核版本(4.19)、systemd(241)、glibc(2.28)和 OpenJDK 11 的组合约束,官方包管理器无法提供安全、兼容、可运维的 Kafka 版本。实际落地需绕过 apt 安装陷阱,手动部署经验证兼容的 Kafka 3.5.2,并严格配置 JVM

weixin_33912453的博客 404

Kafka Docker部署避坑指南:KRaft模式与双监听器实战

Apache Kafka 是分布式流处理的核心中间件,其容器化部署涉及网络、存储、元数据管理等多层技术协同。理解 Kafka 的监听器机制(LISTENERS/ADVERTISED_LISTENERS)与地址解析逻辑,是解决‘本地连得上、容器连不上’问题的关键;而 KRaft 模式通过移除 ZooKeeper 依赖,显著简化了 Docker 环境下的集群启动与故障恢复流程。结合命名卷挂载策略可规避权限与跨平台兼容性风险,双监听器配置则精准分离容器内/外网络访问路径,支撑 Spring Boot 应用集成、C

weixin_33859844的博客 432

CDH kafka内部内网通信,producer使用外网发数据的配置报错Failed to update metadata问题

kafka集群点击每一个broker的配置,找到kafka.properties的kafka Broker高级配置代码段(安全阀)集群通信使用192网段通信,并且使用主机名(node*),/etc/hosts里面的主机名映射也是配置的192网段。由于部署环境要求,kafka的节点都配置了双网口,不同的网段(假设为192网段和191网段)配置每个kafka的broker的主机名映射,让producer至少能连上kafka。注意是每一个broker的配置,不要在kafka集群的配置中修改。

qq_44477308的博客 1185

CentOS 7 部署 Kafka 完整实践:从系统调优到生产就绪

Apache Kafka 是分布式流处理平台的核心基础设施,其高吞吐、低延迟与强持久性依赖底层操作系统深度协同。理解 Kafka 原理需先掌握其对 JVM、内核参数(如 vm.swappiness、transparent_hugepage)、文件描述符及网络栈的刚性要求;技术价值体现在支撑实时数据管道与事件驱动架构,广泛应用于日志采集、微服务解耦、实时风控等场景。在企业级 CentOS 7 环境中,因默认最小化安装、旧内核限制、SELinux 策略及 systemd 服务管理差异,Kafka 部署极易陷入‘

weixin_33968104的博客 714

Failed to update metadata after 60000ms

记录Canal连接Kafka的一个大坑 1、这个应该是canal连接mysql报的超时,不过不影响正确的结果,有知道的大佬希望给予解答 2、重点是这个,巨坑,出现这个问题是因为虽然配置了canal的instance.properties中的dynamicTopic,但是canal.mg.topic没有指定,这会导致什么结果呢?会导致你配置dynaTopic的库虽然可以被kafka监听实时拉取到日志,但是导致mysql下的其他库的文件改动日志没有指向地,就会出现上图的第二个错误,一直报错,解决方法就是

友培的博客 2978

【Kafka】Failed to send data to Kafka: Failed to update metadata after 60000 ms

出现这个错误是因为 Flink Kafka Producer 在发送数据时无法更新 Kafka 的元数据。具体来说,由于连接超时,导致无法在60000毫秒内更新元数据。

九师兄 3963

Kafka系列之:NoBrokersAvailable和Failed to update metadata after 60.0 secs.

kafka.errors.NoBrokersAvailable: NoBrokersAvailable KafkaTimeoutError: Failed to update metadata after 60.0 secs.

zhengzaifeidelushang的博客 2454

Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

问题描述 kafka producer/consumer连接kafka broker超时,报错日志: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 解决办法 假如:kafka broker部署在172.17.162.198(主机名为myhost01)机器。...

球球的博客 9758

TSMaster MBD模块实战:如何用Simulink模型快速搭建汽车电子测试环境

本文实战演示了如何利用TSMaster的MBD模块,将Simulink模型快速部署为汽车电子自动化测试环境的核心。通过建立模型与TSMaster系统变量的实时数据通道,并利用数据仓库统一数据定义,工程师能无缝连接算法仿真与真实总线网络,显著提升从模型到HIL测试的验证效率。

php55的博客 206

Kafka报错:org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

网上有很多报错原因,我遇到的问题是运行kafka的服务器防火墙没有关闭,关闭之后就可以正常发送数据了

youyoufusheng的博客 2099

基于FPGA的DDR学习——1.基础知识

⚪DDR2(Double Data Rate2)SDRAM是由JEDEC(电子设备工程联合委员会)开发的第三代SDRAM内存技术标准,1.8V工作电压,240线接口,提供了相较于DDR SDRAM更高的运行效能与更低的电压,同样采用在时钟的上升/下降沿同时进行数据传输的基本方式,但拥有两倍于上一代DDR内存预读取能力(即4bit数据预取能力),其常见的频率规范有DDR2 400\533\667\800\1066\1333等,总线频率553MHZ的DDR2内存只需133MHZ的工作频率。

qq_44932488的博客 2070

ZYNQ Linux下UIO中断配置避坑实录:从设备树修改到用户层测试(Vivado 2018.2)

本文详细解析了ZYNQ Linux下UIO中断配置的全流程,从设备树修改到用户层测试,特别针对Vivado 2018.2环境中的常见陷阱提供解决方案。内容涵盖中断号配置规则、用户空间中断处理程序编写以及性能优化技巧,帮助开发者高效实现硬件中断的用户空间控制。

weixin_31854867的博客 333

Kafka命令行生产者实战:CLI调试与生产级消息发送指南

Kafka Producer是构建实时数据管道的核心组件,其本质是遵循Kafka ProduceRequest协议的客户端实现;底层依赖JVM运行时与Broker进行元数据同步、分区路由和批次压缩等关键交互;技术价值在于零代码验证能力、协议级保真度和极低运维成本;广泛应用于开发联调、SRE健康检查、Flink/KSQL链路验证及日志/API/数据库实时入湖等场景;本文聚焦kafka-console-producer.sh这一官方CLI工具,深入解析JVM环境适配、advertised.listeners配置

weixin_33716941的博客 1174

【东华大学oj】找到最大数(一维数组->中等)

一天,老师布置了一个作业,要求对一串数字各不相同的数字串进行排序,大的在前,小的在后。接着,我从数字串中的第二个数字开始往后找,找到最大的一个,然后与第二个数字交换,这样的话我就能够确定排序后数字串中的第二个数字;明明研究发现,他的这个想法中最重要的一环就是在一串数字中找到最大的那个,然后与第一个数字交换,可是明明毕竟刚刚开始学习程序设计不久,无法写出较复杂的程序,所以明明想让你这位程序设计专家帮他的忙,帮助他把这段核心程序写出来,然后明明只需模仿着写就可以了。时间限制: 1S类别: 一维数组->中等。

的博客 524

flume-kafka-sparkStreaming日志分析

进入kafka文件夹:启动zookeeper:./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties(进程:QuorumPeerMain) 启动kafka:./bin/kafka-server-start.sh -daemon config/server.properties (进程:kafka)创建kafka主题:....

huixu5662的博客 712

游戏经济数值模型的搭建过程——以标准卡牌游戏为例

一、总体规划 1.玩家分类 首先我们按照下表对玩家进行分类 付费能力即为充值额度;充值行为比如购买月卡/购买钻石;消费行为比如用钻石抽卡 在这里我们假设玩家是理性的,即玩家会以追求更高的性价比为目标进行充值与消费(即小R会优先买首冲+月卡,而不是买一个无用的无属性皮肤) 不同类型玩家之间的差异,实际上就主要由这些行为的差异而决定。 注:早期游戏制作的时候,活跃程度也是区分玩家类型的一个重要依据。不过目前现在游戏中有各种手段抹平了不同活跃玩家的差异(体力限制,活跃时间长的收益递减)..

dudu3332的博客 4228

2025华为OD机试真题目录汇总 B+C+D+E卷(570道)(Python语言)

本文是华为OD机试真题(Python 语言)专栏的目录贴(持续更新中…)华为OD是Outsourcing Dispacth模式,是华为和外企德科联合招聘的简称。目前华为大多数是OD招聘。OD模式也是华为提出的一种新的用工形式,每年都会从OD项目挑优秀员工转为正编。所有OD和正式员工一样对待,没有差别,部门平时开会、评审等活动都是一起参加的,是同薪同酬,都是由华为的HR直接定的薪资,看的是我们技术能力。华为是大企业,能到华为上班也是有能力的,每个部门都有好多职位,是金子,在哪都会发光。

KJ.JK 18万+

Kafka史上最详细原理总结

本文深入解析了Apache Kafka的核心架构与设计思想。作为分布式消息系统,Kafka具有高吞吐、低延迟、可扩展等特性,其核心设计包括:1)基于Partition的消息分区机制,支持水平扩展;2)多副本机制保障数据可靠性;3)高效的文件存储设计,通过顺序读写和稀疏索引实现高性能;4)灵活的生产者-消费者模型,支持多种消息传递语义。文章详细阐述了Topic与Partition的组织方式、消息查找机制、副本同步策略等关键技术点,并分析了Kafka在可靠性、负载均衡等方面的设计考量。

ywl470812087的博客 12万+

【行为决策模块项目实战】解耦控制--多控制器管理与切换的方法(附C++代码)

[请添加图片描述](https://img-blog.csdnimg.cn/c11300d9e4fe421e9070f474a468d1db.jpeg)本文先对多控制器管理与切换的方法做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章提示:以下是本篇文章正文内容VERTICAL_VEL, //垂直速度PID控制器VERTICAL_POS, //垂直位置PID控制器HORIZONTAL, //水平速度PID控制器YAW, //航向角yaw位置逻辑控制器。

qq_35635374的博客 1211

安装kafka

1、下载: kafka_2.11-0.10.1.1.tgz 最终解压(到)成 /usr/local/kafka 2、配置: mkdir -p /usr/local/kafka/log/kafka //创建kafka日志目录 cd /usr/local/kafka/config //进入配置目录 vi server.properties /

mydream119的博客 1103

【雷达通信】雷达信号处理仿真【含Matlab源码 2509期】

雷达信号处理仿真 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 903

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

即将上线的Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费,怎么破?...

           即将上线的Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费,怎么破?                                                     作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。       一.报错:org.apache.kafka.common.errors.Timeout...

weixin_34378922的博客 1771

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 序列化和反序列化学习(一)
下一篇: 序列化和反序列化学习(二)
CodersCoder
博客等级 码龄10年 90粉丝 258原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值