问题:001 如何在shutdownhook中优雅的 close kafka consumer

最新推荐文章于 2022-05-18 12:03:01 发布

以浪为码

最新推荐文章于 2022-05-18 12:03:01 发布

阅读量2.1k

点赞数

分类专栏： Kafka 文章标签： Kafka Consumer close shutdownhook

本文链接：https://blog.youkuaiyun.com/u013054888/article/details/101029927

版权

在多线程环境中，直接在shutdownHook中关闭Kafka Consumer会导致异常。解决方法是利用Consumer的wakeup()方法，在主线程中触发WakeupException以优雅退出while循环，然后在finally块中确保Consumer被正确关闭。这样做可以避免下次启动时分区分配缓慢和其他潜在问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这之所以是个问题，是由于 consumer 的非线程安全的，他不被允许在多个线程中使用，所以直接在 shutdownHook线程中调用 consumer 的 close() 方法，会抛出相关异常。

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
        at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1824)
        at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1713)
        at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1692)

如果你没有在程序退出前很好的 close consumer。最明显的行为就是在下次启动程序消费数据的时候会发现为consumer分配分区的过程可能非常慢（几分钟），还有一个问题是Kafka不能立刻知道 consumer 已经退出，如果同组在其他地方有其他消费者，再均衡在消费心跳超时后才会触发。其他可能的问题还不知道，水平有限。总之，close() 是必须的。

解决思路

解决切入点，是使用 consumer 的 wakeup() 来完成，这个方法是可以在多线程下调用的。

主要思路是在shutdownHook线程中使用 consumer 的 wakeup() 方法让主线程中的消费者在下次 poll 的时候抛出 WakeupException，以退出 while 循环，在 finally 中关闭 consumer。当然是还需要在shutdownHook线程中等待主线程完成任务再退出整个程序。

Runtime.getRuntime().addShutdownHook(new Thread

最低0.47元/天解锁文章