【Flink】Flink不消费数据、偶然消费数据、消费组信息查不到

最新推荐文章于 2025-06-21 00:15:00 发布
最新推荐文章于 2025-06-21 00:15:00 发布
阅读量118 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/135011054

在这里插入图片描述

1.概述

一个环境flink读取kafka不消费数据或者偶然消费数据、消费组信息查不到。

在数据源节点查看节点每秒消费速率为0，意味着没有消费数据

在这里插入图片描述

查看topic内部topic都正常，下图为部分

在这里插入图片描述
查看我们消费的目标topic也是正常的

在这里插入图片描述
查看消费组信息最后一行为nuknow，这是我们自定义的，意思是查不到

在这里插入图片描述
查看日志发现无报错信息

了解本专栏 订阅专栏 解锁全文
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象
CodeHeroicX的博客
08-28 635
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象大数据处理中，Apache Flink是一个常用的分布式计算框架，而Apache Kafka则是广泛应用于实时数据流处理的分布式消息队列。然而，在使用Flink消费Kafka消息时，有时会遇到一些奇怪的问题，比如消费组死掉、Lag不变、Kafka不提交等。本文将深入探讨这些现象的原因，并提供相应的源代码作为参考。
【Flink】Flink 控制台能消费 但是 Flink 任务不能消费 内置topic 导致问题
九师兄
10-26 671
一个流任务，在其他环境都正常，但是有个环境突然不正常了，数据消费为0.【Flink】Flink source后全过滤数据导致监控数据为0然后一会直接排除了这个，我们这个没有做限制。然后又看看topic详情，发现topic是正常的。然后控制台消费，是正常的，然后去流任务看看日志，发现日志也是正常的，没有任何报错。【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费。
【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
一只皮皮熊
04-10 8277
文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结 问题 复现 使用connecor消费数据的时候，我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常 而使用kafka-client的时候，这些信息是能正常显示的 初步结论 https://issues.apache.org/jira/brows...
Flink AsyncFunction导致的Kafka数据不消费
微信搜：import_bigdata，大数据领域硬核原创作者
01-03 1514
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！问题描述flinksql从kafka读取数据，异步函数加载Mysql数据进行维表关联，最后将数...
【Flink】记录一次Flink消费kafka写入Elastic在kerberos认证的情况下不消费问题
九师兄
01-17 598
最近在做Flink读取kafka写入到kerberos认证的Elastic，但是却发现kafka无法消费的情况。先说说我们的环境flink节点node1flink目录keytab目录然后我们分发文件到其他的机器hdfs dananode节点node2keytab目录node3keytab目录node4keytab目录然后我们留任务是这样的。
【Kafka】Flink 消费 kafka 部分分区不消费数据
九师兄
03-11 382
flink 消费kafka,之前任务正常的，突然有个分区没法消费了，重启下任务久正常了。
【Flink】Flink 消费一段时间1万多条数据就卡死
最新发布
九师兄
06-21 223
我们有个现场环境，发现了奇怪的现象，就是每次启动任务后，消费1万多条数据后就会卡死，然后整个流不消费，也不往下输出，看起来卡死了一样。缺图这里面出现的网闸原因导致的，但是经过我们写了一个简单的kafka消费程序，然后在出问题的节点上消费数据，实际排查，发现不是这个问题。这个问题，发现也不是，这段时间没有进行过kafka数据清理。里面的问题。因为这个问题，我们后面的代码刻意规范了，不这样操作。后来是在没办法了，然后我们dump了线程，发现有如下代码。
Flink大声说，丢数据这个锅，我们不背！
热门推荐
明哥的IT随笔
01-28 2万+
一。问题现象笔者所在公司基于kakka-flink-es开发了一套日志中心，以方便业务部分通过日志排查业务问题（日志包括全链路日志，业务日志等）。近期业务部门反馈，日志中心在使用过程中出...
【Flink】Flink 消费 kafka报错 写入 es 死信队列 FetchSessionHandler DisconnectException、写入卡死
九师兄
01-26 1633
到现场排查也没有排查出来，因为流计算任务日志很大，使用yarn命令都无法下载日志，几百G的日志好像，这个问题是一周或者几周后出现的，所以当时一直没看到问题，后来老大去看的，才在后面发现了日志。这里出问题，就是上面的，出现超时异常或者其他异常，竟然又将数据放回队列了，然后平常情况下可能没事，一旦es有些问题一直超时，导致队列满了，会出现，看起来flink任务卡死了，然后监控source节点，发现不消费数据了，这里可以采取两个方案。这不是关键的，这个错误没怎么看，但是下面这个导致了大问题。
实时同步mysql数据到doris，Mysql+kafka+flink+doris
queenten的博客
11-17 5987
1、使用背景 最近组里想要在现有的环境下搭一套实时数仓，综合分析之后doris将会作为实时数仓落地的数据库，数据源有消息数据，还有业务库的数据。 2、数据源接入 消息数据都好说，无论是pulsar,还是kafka，flink官方都已经提供了现成的source接口，照着官方文档去配置一下就ok，但是由于dba这个神秘组织的存在，他们担心会开启bin-log会增大他们的数据库压力，无法给我们开通访问bin-log的权限，作为大头兵的我只能默默接受，因此无法使用flink-cdc的方式去监控pg数据库的bin-l
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 979
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理
DL_jianglin的博客
02-09 1014
Flink消费Kafka空转，无法拉取消息。flink空转不是flink的问题，而是kafka客户端版本与集群版本不匹配导致的
Flink Kafka消费者卡顿问题：消费组无法消费数据、无法写入指定topic？
code_welike的博客
08-30 898
本文介绍了Flink Kafka消费卡顿的问题，并提供了相应的解决方案。当消费组无法消费数据、导致topic无法写入时，可以通过增加消费者数量、调整消费者配置和检查网络及资源等方法来解决问题。希望以上内容对解决类似问题有所帮助。注意：本文中的示例代码仅供参考，请根据实际情况进行调整和优化。
Flink对接Kafka常见问题与解决方案
地推日记
08-28 6537
1.Flink对接kafka出现数据倾斜 问题现象 使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。 可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafkatopic分区数的多倍，数据的写入每个分区数据量是均衡的。 2. 并行度%分区数量≠...
flink程序在消费kafka数据时出现Error sending fetch request问题
pageniao的博客
08-11 9025
在程序已经稳定运行多天、未对代码做任何修改、查看所消费数据源未出现数据增多的情况下，有一个flink程序最近出现了积压问题，很是疑惑，观察几天并查看了日志发现，每当出现加压时便会伴随该日志出现，因此便着手解决该问题。...
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常
九师兄
06-11 2328
1.概述 今天遇到一个问题，非常的奇怪。 我一个FLink程序突然不消费数据了。确认有数据正在往kakfka中写入数据，在broker监控中，可以看到确实在写入。 然后在topic看，发现数据没有写入 flink 读取不到数据，flink流任务 没有报错，这个 然后查看消费组卡死 查看topic详情是正常的 模拟对这个topic写入和发送数据是正常的 kafka日志一堆 Rolled new log segment for 消费数据的时候有消息比较大 服务端设置的max.message.si.
flink无法消费kafka消息的一次问题记录
菜鸟很菜的专栏
03-15 4353
flink无法消费kafka的消息，本地开发时也没有错误信息打印，后来排查到注掉addsink()后就可以消费到消息； 继续排查发现是写入hbase的配置中，由于地址无法连通导致的。 ...
flink读不到kafka数据问题
微电子学与固体电子学-俞驰
06-26 4415
[1]搭建集群 [2]测试kafka集群没问题后, 根据[3]中开始用flink消费kafka数据,发现啥也么有 调试办法如下: ①去$KAFKA/logs下面看了下,是有相关主题的文件夹生成的. ②/kafka-console-consumer.sh --bootstrap-server Desktop:9091,Laptop:9092,Laptop:9093 --topic test-0921 依然没有数据 ③./kafka-console-consumer.sh --bootstrap.
记录一次kafka topic 消费不到数据问题排查
u012693823的博客
07-23 5853
如果数量小于既定kafka broker数说明kafka挂了,需要重启kafka kafka.1.server status #检查 kafka.1.server start #启动 如果无上述命令,执行 history|grep kafka , 查看kafka相关启动命令 如果执行命令无法启动kafka,极有可能是内存不足或者磁盘不足 内存不足 执行top命令,看哪个应用占的比较多,能干掉的先干掉 如果磁盘不足 执行df -h ,看是哪个文件过大导致,清理出多余
为什么不是必现的
03-19
- **数据倾斜的偶然性**： 若某批次数据中大量记录的随机数哈希值集中在某个 KeyGroup 区间，可能导致： - **子任务负载不均**：部分子任务处理更多数据，增加哈希冲突概率。 - **临时性状态膨胀**：仅在特定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值