Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds

本文记录了一次Kafka集群中硬盘故障引发的Flink应用频繁重启的问题及解决方案。详细介绍了错误信息、原因分析及通过修改sink-name来解决kafka事务问题的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

org.apache.kafka.common.errors.TimeoutException: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds while awaiting InitProducerId

今天kafka集群坏了一块硬盘,导致flink疯狂重启, 找到报错如下:

org.apache.kafka.common.errors.TimeoutException: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds while awaiting InitProducerId
Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds while awaiting InitProducerId

经过一天的排查, 发现是kafka事务出现了问题,详细的暂时不了解,只知道flink事务可能由 sink-name + UUID组成, 按道理说重启flink刷新UUID就能解决的, 可是并没有。
这里有两种解决方案

  • 关闭kafka事务
  • 修改sink-name
    采用第二种方案解决。

本次kafka生产事故总结:kafka所在服务器最好采用raid5磁盘阵列,至少坏一块盘还能用, 不然像今天这样就有点悲剧了数据给整丢了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值