【Kafka】Flink 消费 kafka 部分 分区 一直不提交 offset

已于 2024-02-23 09:25:16 修改
阅读量2k 收藏 1
点赞数 1
分类专栏： 2025最新-大数据-flink 文章标签： kafka flink 分布式
于 2022-02-25 19:32:09 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/123117903
版权
本文档探讨了一个Flink消费Kafka时遇到的问题，即某个分区的数据消费延迟增大，其他分区正常。通过检查消费组、topic状态、内置topic以及Flink监控，确认数据拉取正常，但offset提交存在问题。监控数据显示commitsFailed、commitsSucceeded和commit-rate均为0，表明offset提交失败。尽管重启任务暂时解决了问题，但可能导致数据重复消费。文章最后提到了kafka分区不消费的常见现象，并对Flink提交offset的机制进行了简要提及。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
Flink消费Kafka部分分区时未提交偏移量的解决方法
BugCrusher的博客
09-02 590
在使用Flink消费Kafka时，我们通常需要维护消费者的偏移量（offset），以确保数据的准确处理和容错能力。然而，有时候我们可能只想消费Kafka中的部分分区，但由于某些原因，偏移量无法提交，这可能导致数据丢失或重复处理的问题。在使用Flink消费Kafka时，通常需要维护消费者的偏移量（offset），以确保数据的准确处理和容错能力。然而，有时候我们可能只想消费Kafka中的部分分区，但由于某些原因，偏移量无法提交，这可能导致数据丢失或重复处理的问题。为了仅消费特定的分区，我们可以使用。
【Kafka】Flink 消费 kafka 部分分区不消费数据
最新发布
九师兄
03-11 303
flink 消费kafka,之前任务正常的，突然有个分区没法消费了，重启下任务久正常了。
对于kafka消费后不提交offset的分析总结
the Blog of Forward
03-31 1万+
对于kafka消费后不提交offset情况的分析总结   最近在使用kafka的过程中遇到了一个疑问，在查阅了一些资料和相关blog之后，做一下总结和记录。   Question:消费者在消费消息的过程中，在设置为不自动提交offset，消费完数据之后如果不手动提交offset，那么在kafak中的数据会如何被处理呢?   首先简单的介绍一下消费者对topic的订阅。客户端的消费者订阅了topi...
kafka系列之offset超强总结及消费后不提交offset情况的分析总结
ToBeMaybe_的博客
07-05 3114
消费端如果没有提交offset，程序不会阻塞或者重复消费，除非在消费到这个你没有提交offset的消息时你新增或者减少消费端，此时会发生rebalance现象，即可再次消费到这个未提交offset的数据，产生重复消费问题。如果在消费的过程中有几条或者一批数据数据没有提交offset（比如异常情况程序没有走到手动提交的代码），后面其他的消息消费后正常提交offset至服务端，那么服务端会更新为消费后最新的offset，不会重新消费，就算重启程序或者rebalance也不会重新消费。
kafka自动提交offset失败：Auto offset commit failed
热门推荐
10-22 3万+
今天在服务日志中观察数据的消费情况时，发现了一个如下的警告，而且每隔几秒就会出现一次，虽然只是个警告，   Auto offset commit failed for group order_group: Commit cannot be completed since the group has already rebalanced and assigned the partitions...
临时解决kafka某分区offset不更新问题--重置group的offset
胡杨的知识库
11-09 1881
kafka0.10.1.0之后版本版本： 1、查询到topic:FIMS offset的最小值 ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list XXX.XXX.XXX.XXX:9092 --topic FIMS --time -2 2、offset的最大值： ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list XXX.XXX.XXX.XXX:9092 --to
Flink KafkaConsumer offset是如何提交的
laidongxu666的博客
02-11 794
一、fllink 内部配置Kafka consumer 的配置可以参考。
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
zhengzaifeidelushang的博客
08-01 1803
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
flink正常消费kafka数据，flink没有做checkpoint，kafka位点没有提交
qq_43118086的博客
07-05 1445
在消费kafka的数据时，source的并发度不能超过kafka的partition数，否则部分source无数据消费，导致finished，可以小于partition，但是部分subtask就会消费多个partition的数据，导致吞吐达不到最大，理想状态是source并发度等于partition数。（1）flink任务消费kafka数据，其中数据正常消费，kafka显示消息堆积，位点没有提交，并且flink任务没有做checkpoint。flink消费kafka数据，多并发，实现双流join。
Flink Kafka报错：无法自动提交偏移量至组，偏移量提交失败，具有可重试性
DevEnigma的博客
08-14 846
错误信息表明，在尝试为Kafka消费者组自动提交偏移量时发生了失败，并且这个错误是可重试的。为了解决这个问题，我们可以通过在Flink代码中设置适当的配置参数来增加提交偏移量的可靠性，并在提交失败时进行重试。方法中，我们首先打印出提交失败的分区信息，然后进行重试操作。在这个示例中，我们最多重试3次，如果仍然失败，则打印出超过重试次数的信息。Flink Kafka报错：无法自动提交偏移量至组，偏移量提交失败，具有可重试性。通过以上的代码修改，我们可以更好地处理偏移量提交失败的情况，并增加提交的可靠性。
记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理
DL_jianglin的博客
02-09 978
Flink消费Kafka空转，无法拉取消息。flink空转不是flink的问题，而是kafka客户端版本与集群版本不匹配导致的
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象
CodeHeroicX的博客
08-28 602
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象大数据处理中，Apache Flink是一个常用的分布式计算框架，而Apache Kafka则是广泛应用于实时数据流处理的分布式消息队列。然而，在使用Flink消费Kafka消息时，有时会遇到一些奇怪的问题，比如消费组死掉、Lag不变、Kafka不提交等。本文将深入探讨这些现象的原因，并提供相应的源代码作为参考。
Flink Kafka报错：组内偏移量的自动提交失败，偏移量提交失败，具有可重试的错误
PixelInk的博客
08-30 760
当在Flink中连接Kafka时，可能会遇到"Auto-commit of offsets failed for group"的错误信息，表明偏移量的自动提交失败。然而，有时候在使用Flink连接Kafka时，可能会遇到一些报错信息，其中之一是"Auto-commit of offsets failed for group"（组内偏移量的自动提交失败）。本文将详细介绍这个问题的背景，解释其原因，并提供相应的源代码示例。Flink Kafka报错：组内偏移量的自动提交失败，偏移量提交失败，具有可重试的错误。
kafka pull模式 提交offset失败问题
qq_33548675的博客
10-19 559
网上都是消息监听，接口调用时，同一个消费组，无法使用为同一个消费者，所以需要取消订阅。 Properties properties=kafkaConfig.getProperties(); // 将参数设置到消费者参数中 KafkaConsumer<String, String> consumer = new KafkaConsumer(properties); List<String> list=new ArrayList<
【flink】flink 消费组死掉 Lag不变 kafka不提交 重启恢复 非常诡异
九师兄
11-30 877
是这样的，我有一个环境，遇到一个这样的现象，flink任务运行了 13天了，然后看消费组状态的时候 发现lag很大 多次查看都一样。这个场景和上述一样的，只是重启后，offset没有变化。也有一点就是每个分区8万的lag变成了3万的lag。后来任务逐渐消费了，然后lag也恢复正常了。然后重启了一下任务，消费组没改，然后lag变成 一百以内了，关键是。感觉是offset 重启后 提交了offset，没找到原因。怀疑是消费组异常导致的，但是不知道具体原因。查看日志，发现有消费组死掉的信息。
kafka comsumer消费消息后不commit offset的情况分析
u012533496的博客
10-09 8604
        kakfa用offset来记录某消费者消费到的位置，由于kafka是个分布式结构，数据被存放在多个partition上，那么要为每个partition单独记录一个offset，该offset保存在一个叫__consumer_offsets 的Topic里，与此同时，kafka规定在同一消费者组里，同一时刻一个partition只能有一个消费者，这样的规定优势是每个consumer不...
flink checkpoint和kafka offset设置问题
L13763338360的博客
09-02 4627
1. 问题描述 本地调试过程中发现，明明设置了kafka自动提交 enable.auto.commit = true 但flink任务启动后，看日志，有时还是 enable.auto.commit = false kafka的enable.auto.commit时而为true时而为false，导致的现象是，每次重启flink测试任务，有时是从kafka最新消息开始消费(enable.auto.commit=true)，有时是从更早之前消费(en...
flink kafka指定offset消费
08-30
Flink作为一个分布式流处理框架，可以集成Kafka并实现指定offset的消费。下面是使用Flink消费Kafka指定offset的简单步骤： 首先，确保你的项目依赖中已经引入了Flink和Kafka的相关库。 在Flink应用程序中，你需要创建一个消费者并指定要消费的Kafka话题。使用`FlinkKafkaConsumer`类来创建一个Kafka消费者对象，并在构造函数中指定Kafka的连接地址、话题和反序列化器等相关信息。例如： ```java Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "my-consumer-group"); FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), properties); ``` 然后，你可以使用`setStartFromSpecificOffsets()`方法来指定要从哪个offset开始消费。`setStartFromSpecificOffsets()`方法接受一个`Map<KafkaTopicPartition, Long>`参数，其中`KafkaTopicPartition`表示Kafka话题的分区，`Long`表示要指定的offset。例如，假设你要指定从话题`my-topic`的第一个分区的偏移量10开始消费，那么你可以这样设置： ```java Map<KafkaTopicPartition, Long> specificOffsets = new HashMap<>(); specificOffsets.put(new KafkaTopicPartition("my-topic", 0), 10L); kafkaConsumer.setStartFromSpecificOffsets(specificOffsets); ``` 最后，将Kafka消费者对象传递给Flink的`addSource()`方法来创建数据源。例如： ```java DataStream<String> dataStream = env.addSource(kafkaConsumer); ``` 在这之后，你可以继续处理和转换数据流，实现你的业务逻辑。 以上就是使用Flink Kafka消费者指定offset消费的简单过程。通过指定offset，你可以从指定位置开始消费Kafka数据，而不是从最新或最早的offset开始消费。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值