使用librdkafka高级消费者接口退出时rd_kafka_destroy卡住问题

原创

于 2018-04-23 22:48:43 发布 · 3.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#librdkafka #kafka #rd_kafka_destroy #卡住 #阻塞

在使用librdkafka高级消费者接口时，遇到rd_kafka_destroy函数调用时卡住的问题。经过调试发现，问题出在一个循环条件判断上，由于消息对象的引用计数不满足释放条件，导致循环无法结束。原因是消息解析异常分支中，没有正确调用rd_kafka_message_destroy释放消息对象，从而引发内存泄露，影响了程序退出。修复此问题后，程序运行正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

近期在使用librdkafka消费者接口时遇到一个问题：当消息消费完成或用户主动退出时经常卡住，gdb attach上去看了一下是调用rd_kafka_destroy时一直阻塞：
- 剩余3个线程，其中两个在pthread_join，另一个当前堆栈顶层函数是poll
- 查阅代码，并打印了poll的参数，该调用是有超时时间的。也就是说不会一直阻塞，问题应该出在其他地方。

(gdb) set pagination off
(gdb) info thr
  Id   Target Id         Frame 
  3    Thread 0x7f1f506ba700 (LWP 24296) "rdk:main" 0x0000003074208705 in pthread_join (threadid=139772448966400, thread_return=0x7f1f506b5d58) at pthread_join.c:92
  2    Thread 0x7f1f4f2b8700 (LWP 24299) "rdk:broker0" 0x0000003073ee1bfd in poll () at ../sysdeps/unix/syscall-template.S:81
* 1    Thread 0x7f1f514ef780 (LWP 23787) "mpp_test" 0x0000003074208705 in pthread_join (threadid=139772469946112, thread_return=0x7fff0d9410a8) at pthread_join.c:92

(gdb) thr apply all bt

Thread 3 (Thread 0x7f1f506ba700 (LWP 24296)):
Python Exception <type 'exceptions.AttributeError'> 'module' object has no attribute 'Command': 
#0  0x0000003074208705 in pthread_join (threadid=139772448966400, thread_return=0x7f1f506b5d58) at pthread_join.c: