解决同步Kafka集群，消费不到数据

最新推荐文章于 2025-01-06 09:32:06 发布
原创 最新推荐文章于 2025-01-06 09:32:06 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #大数据

本文记录了解决跨云平台Kafka数据同步问题的过程，从网络排查到最终发现需指定域名而非IP地址进行消费，详细阐述了问题的解决思路及步骤。

今天使用华为云(Dest）同步金山云(Source)Kafka数据时，华为云一点点响应都没。我登录控制台尝试直接启动Consumer去消费，结果也是一样消费不到数据！
接着就是确认网络通不通的问题了！

  • ping 一下 ok 通的
  • telnet 一下 ok 可以进入9092端口的

那么到底哪里出了问题了呢？
左思右想不得琦姐。
出去走了一圈突然想到了，以前在自己搭建的大数据环境上也遇到过这种问题，指定IP消费不到数据，必须指定域名。这才恍然大悟，赶紧给金山云要来他们Kafka集群的hosts文件,在我们华为云的hosts文件上添加映射金山云Kafka的域名。

然后完美解决问题。
至于问题在哪儿 ，我想是zookeeper，指定的是host所以必须使用host
加粗样式
怎说也得上个图吧在这里插入图片描述

大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
zhengzaifeidelushang的博客
08-13 1758
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
zhengzaifeidelushang的博客
10-13 955
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
Kafka消费不到数据
wildding的博客
05-16 4231
方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。
mysql分区
lion的博客
10-24 403
一、查看mysql是否支持分区 MySQL5.1开始支持分区 1.MySQL5.6以及之前版本 show variables like '%partition%'; YES 则支持分区 2.MySQL5.7以后 show plugins; 如下则支持分区 二、分区详解 1.分区表分类： RANGE分区、LIST分区、HASH分区、KEY分区、复合分区 2.分区表限制： 分区键必须包含在表的所有主键、唯一键中。 MYSQL只能在使用分区函数的列本身进行比较时才能过滤分区，而不能根据表达式的值去过滤
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 3029
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
kafka消费不到消息原因
热门推荐
蘑菇丁的专栏
05-16 2万+
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错，在创建topic时我只能赋值 --replication-factor=1 如下 kafka-topics --zookeeper...
虚拟机启动kafka后主机无法消费的问题
Jasonhada的博客
02-19 1723
Python消费虚拟机上的kafka消息
【数据库同步】MySQL-Kafka GoldenGate部署：实现MySQL数据实时同步至Kafka集群系统设计与配置
最新发布
04-15
内容概要：本文档详细介绍了如何将MySQL数据库中的变化数据实时同步到Kafka集群，通过部署Oracle GoldenGate实现这一目标。文中明确了源端（MySQL）和目标端（Kafka）的具体信息，包括IP地址、版本号以及涉及的表。...
大数据技术Kafka详解 ④ | Kafka中的数据不丢失机制与配置文件说明
dvlinker的技术专栏
01-06 1万+
本文详细介绍Kafka中的数据不丢失机制以及配置文件说明。
大数据技术Kafka详解 ③ | Kafka集群操作与API操作
dvlinker的技术专栏
01-03 1万+
本文详细介绍Kafka的集群与API操作。
Linux消费kafka话题数据,logstash 消费数据到kafka异常
weixin_35755640的博客
05-12 714
报错 ：[logstash.outputs.kafka ] Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1}原因： logstash 日志报错生产数据到 kafka 失败解决办法：查看kafka配置，默认单条消息最大为1M...
Kafka消息数据积压，消费能力不足如何处理？
qq_35139965的博客
08-11 4220
可以从两方面考虑： 1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。两者缺一不可 2、如果是下游的数据处理不及时：则提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。 ...
【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题
weixin_40293999的博客
08-07 816
kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。
kafka 指定partition两种方式&Consumer不消费消息的几个原因
Nougats的博客
05-11 2万+
需求1.随机生成IP数字，将奇数、偶数数据分在不同的Partition 2.通过KafkaAPI实现一个消费组中多消费者，为了是验证同组的不同消费者是否一一对应不同的Patition 3.打包部署在Linux中运行解决办法方法1： 在producer发送消息时指定partition，ProducerRecord的构造方法可以有四个参数，分别是topic，int类型的partition值，key
kafka消费不到数据问题
qq_42315376的博客
02-27 9147
kafka消费者不能正常消费的原因与解决方法
Kafka消费者无法消费数据，解决
qq_51651655的博客
08-24 9258
解决Kafka消费者无法消费数据问题
kafka队列不消费的一种情况（找错group的情况）
BHSZZY的博客
04-01 7941
一、问题概述 最近碰到了一个问题，使用命令查看kafka的某个topic的消费情况，发现这个topic没有消费者，剩余消息（LAG）一直是满的； 但是查看java后台日志，发现确实消费了这个topic，功能正常； 所以问题就是查看kafka的topic的消费情况时，LAG为什么不减少、并且显示没有消费者呢？ 二、问题详情 1.kafka有一个命令，可以查看某个组中的topic的消费情况，样例如下： ./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1
系统kafka不消费-topic问题
一个后知后觉人路。。
11-03 3130
系统kafka不消费-topic问题
Kafka消费者不消费数据
fox_233的博客
09-08 8804
kafka消费者停止消费
kafka集群如何实现数据同步
01-16
### Kafka集群数据同步实现方法 #### 使用Flume进行Kafka集群间的数据同步 为了实现在不同Kafka集群之间的数据同步，可以采用Apache Flume作为中间件工具来完成这一过程。具体而言，在此场景下的`Kafka Source`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值