【Flink】Flink 消费 kafka retries和retry.backoff.ms 引起问题

最新推荐文章于 2025-03-26 09:30:00 发布
最新推荐文章于 2025-03-26 09:30:00 发布
阅读量1.6k 收藏
点赞数
分类专栏： 2025最新-大数据-flink 2025最新-大数据-kafka 文章标签： kafka flink elasticsearch
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/120684565
版权
本文介绍了在遇到Kafka的NotLeaderForPartitionException时，如何通过调整Flink消费Kafka的retries和retry.backoff.ms参数来解决问题。作者指出，这些参数用于控制生产者的重试策略，避免因异常导致的失败。当异常恢复时间超过重试总时间时，生产者会放弃重试。通过适当增大重试次数和间隔时间，可以提高成功概率。建议根据实际的异常恢复时间进行配置，并注意设置的合理性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

本问题是 【Kafka】kafka NotLeaderForPartitionException thisserver is not the leader for topic-partition 这个问题的解决方法。

先看看这两个参数的解释

生产者重试次数，默认值为0。消息在从生产者从发出到成功写入broker之前可能发生一些临时性异常，比如网络抖动、leader副本选举等，这些异常往往是可以自行恢复的，生产者可以配置retries的值，通过生产端的内部重试来恢复而不是一味的将异常抛给生产者；如果重试达到设定次数，生产者才会放弃重试并抛出异常。但是！并不是所有的异常都可以通过重试来解决，比如消息过大，超过max.request.size参数配置的数值。

重试还和

了解本专栏 订阅专栏 解锁全文
Flink消费Kafka中的重试机制及其引起的问题
JieLun_C的博客
08-12 545
当配置了较长的"retry.backoff.ms"值时，Flink在处理失败的消息之前会等待更长的时间。因此，在配置"retry.backoff.ms"时，需要考虑到实时性的要求，避免过长的等待时间。可以选择一个合适的等待时间，以确保消息在失败后有足够的时间恢复，同时避免过长的处理延迟。使用这些配置选项可以确保在出现故障或错误的情况下，Flink能够尽力处理并重试消息，从而提高数据处理的可靠性。在实际应用中，需要根据具体的业务需求和系统情况进行配置，并进行充分的测试和优化，以获得最佳的性能和可靠性。
【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费
九师兄
07-28 1442
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常Kafka : kafka无法消费的情况在博客【kafka】消费组 死掉 kafka Marking the coordinator dead for group中消费组死掉，但是不会造成数据重复消费，但是这次却造成重复消费了。flink消费kafka的时候，出现了一个两个warn日志，后面flink继续运行。
kafka 参数篇
最新发布
程序员三木的博客
03-26 1133
Kafka Rebalancing 可能由多种参数和场景触发，包括心跳、会话、轮询超时、消费者动态变化、网络故障等。:调整::、: :和:: :等参数。:优化消费者的处理逻辑，减少单条消息的处理时间。:确保 Kafka 集群的高可用性和网络的稳定性。:使用合适的分区分配策略和消费者组配置。:通过合理的配置和优化，可以有效减少 Kafka Rebalancing 的频率，提高系统的稳定性和性能。
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常
九师兄
06-11 2215
1.概述 今天遇到一个问题，非常的奇怪。 我一个FLink程序突然不消费数据了。确认有数据正在往kakfka中写入数据，在broker监控中，可以看到确实在写入。 然后在topic看，发现数据没有写入 flink 读取不到数据，flink流任务 没有报错，这个 然后查看消费组卡死 查看topic详情是正常的 模拟对这个topic写入和发送数据是正常的 kafka日志一堆 Rolled new log segment for 消费数据的时候有消息比较大 服务端设置的max.message.si.
Flink消费kafka数据消费一部分后就卡住了，原因排查
xuyingzhong的博客
03-30 6777
最近写flink消费kafka数据的时候，一直出现消费一部分数据成功后，后面的数据就不消费了，开始一直认为是kafka数据阻塞或者是数据单条过单导致的（之前用storm消费kafka出现过单条数据10M的情况），所以一直在怀疑是不是kafka的问题，我将所有代码注释掉只留消费kafka的代码，发现数据既然正常消费了，why？ 原因在我的代码中使用了异步IO (AsyncDataStream)...
Flink消费kafka入Hbase(Hbase周期性挂掉)
weixin_42247202的博客
11-23 1146
Hbase周期性挂掉 warn NettyRpcServer RPC data length of 842346544 received from IP is greater than max allowed 268435456,set "hbase.ipc.max.request.size" on server to override this limit(not recommended)
Flink消费Kafka时的重试机制与重试间隔可能引起的问题
AlianBlank的博客
09-16 869
当消费Kafka时发生异常或超时等问题而导致消费失败时，Flink会根据retries参数指定的重试次数进行重试，每次重试之间的间隔为retry.backoff.ms指定的时间。例如，如果retries设置为10次，retry.backoff.ms设置为100毫秒，那么一条消息最多会被消费11次，重试时总共会等待1.1秒。例如，如果retry.backoff.ms设置为1秒，那么每次重试之间将会等待1秒，如果重试10次，则总共会等待10秒，这可能导致消息延迟严重。解决方法：合理设置重试次数和重试间隔。
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink(1)
2401_84165919的博客
04-27 703
/ 数据流数据通过KafkaSink算子写入kafka。Flink kafka 连接器依赖 start。Flink kafka 连接器依赖 start。Flink kafka 连接器依赖 end。Flink kafka 连接器依赖 end。// 将数据发送到Kafka主题。
【kafka】Flink消费kafka Error sending fetch request
九师兄
03-09 4968
【kafka】Kafka Fetch Session 剖析flink 消费 kafka 偶尔会出现这种日志。具体如下【九师兄出品】初一看应该链接问题，检查kafka集群发现生产流量正常，消费流量出现降，这应该就是flink消费端链接kafka出现了问题。
【Flink】Flink 写入 kafka 报错 Failed to send data to Kafka: Expiring 4 record(s) for 20001 ms has passed
九师兄
07-06 3895
有一个flink 写入kafka的程序报错，如下具体报错如下flink中写入kafka 抛这种错误一般是什么原因，导致job重启。
Flink日记--记一次flink消费数据卡住
Macalzheng的专栏
11-24 2708
背景： 最近用flink做实时异常检测，实时消费kafka数据，提交作业后消费一部分数据后就不在消费了，好像卡住了，kafka消息队列中一直在积压，作业也不会挂掉。之前一直没问题，最近将代码进行了重构出现了问题。一直以为是代码问题，不料最终发现是 CPU 核心数太少了。 分析： 1、单一物理机CPU为32个，一个3节点的flink集群 2、FLink配置将 taskmanager.numberOfTaskSlots 设置为 2 3、 代码中使用了分流器 sid...
backoff-retry:使用指数退避重试异步操作的简单库
07-01
退避重试 用于使用指数退避重试异步操作的简单库。 var Backoff = require ( '../lib/backoff' ) ; function runAttempt ( callback ) { setTimeout ( function ( ) { // alwasy fail for this example callback ( new Error ( "Failing on purpose" ) ) ; } , 100 ) ; } var retrier = new Backoff ( runAttempt , function ( err ) { console . log ( 'finished' , err ) ; } ) ; retrier . on ( 'attempt_failed' , con
Kafka Producer重试参数retries设置取舍
紫蝶侠的博客
02-24 1082
Kafka Producer重试参数retries设置取舍 retries参数在版本0.11.3 建议设置 retries = Integer.MAX_VALUE max.in.flight.requests.per.connection = 1 该参数的设置已经在kafka 2.4版本中默认设置为Integer.MAX_VALUE；同时增加了delivery.timeout.ms(重试间隔)的参数设置 ...
spring-retry重试
蓝
05-22 399
1.关于spring-retry spring-retry是从spring batch独立出来的一个功能，主要实现了重试和熔断。 2013-3：【1.0.0】~2017-12：【1.2.2】 2.用法 1.pom引入 <dependency> <groupId>org.springframework.retry</groupId> <a...
Azkaban任务失败重试及重试间隔命令
说文科技，做有态度的研究。
09-14 8077
Azkaban任务失败重试及重试间隔命令 在.job文件中，添加如下命令： retries=12 retry.backoff=300000
Spring - retry重试机制
b9x__的博客
12-03 374
关于spring-retry 有些时候我们对于的一些行为遭遇到意外时需要重试时，如远程调用其他接口失败，数据相关的事务失败，这时我们就需要重试机制了。spring-retry通过注解声明式的解决重试机制，功能齐全，简单好用。 主要注解 @EnableRetry ：加在主类上，声明启用重试机制 @SpringBootApplication @RestController @EnableCa...
Java——Retry重试机制详解
https://github.com/Wang-Jun-Chao
05-20 2676
Java——Retry重试机制详解@[TOC](Java——Retry重试机制详解)[【博文目录>>>】](http://blog.csdn.net/derrantcm/article/details/73456550)[【项目源码>>>】](https://github.com/Wang-Jun-Chao/spring-all/tree/master/boot...
消费MySQL数据 不重复消费_解决Flink消费Kafka信息，结果存储在Mysql的重复消费问题...
weixin_36296864的博客
02-04 929
背景最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once例子，但是官网却有类似的例子来解决端到端的仅一次消费问题。这个现成的例子就是FlinkKaf...
kafka配置详解
huxiaodong1994的博客
06-27 3211
broker端参数 log.dirs：指定broker端使用那些若干文件来进行日志存储，没有默认值，必须要进行指定。配置格式为csv的样式，如：/home/kafka1,/home/kafka2,/home/kafka3，并且可以将不同的目录挂在不同的磁盘下面，这样可以有如下好处 提升读写性能 可以实现故障转移，在kafka1.1之后，单个磁盘损坏时，坏掉的磁盘数据会自动转换到正常的磁盘，继续提供服务。 log.dir：同log.dirs参数配置效果一样，只不过只能配置单个路径。 zookeepe
Flink连接Hive和Kafka核心库包使用指南
这个连接器允许Flink读取Kafka中的数据流，也可以将Flink处理后的数据写回Kafka，这样Flink可以作为Kafka流数据的消费者或生产者。在Flink的作业配置中，会涉及到相应的Kafka连接器的依赖库，这些库通常包括了与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值