kafka消费者超时解决方案
背景 kafka消费者采用批量拉取的方式,一次拉取一批记录来消费,如果消费者线程消费超时会导致整批消息的回滚,从而导致已经消费过的数据再消费一遍,消费者不幂等会出大问题,这也是为啥要强调使用消费队列一定要考虑幂等性的原因。 细思极恐的是:这次在规定的时间内消费不完,你能保证下次就能消费完吗?有可能进入拉取-》超时-》回滚-》拉取的无限循环中。消费超时会发生什么?Kafka Handle Error, Client Will Seek Soon: org.apache.kafka.clients.
原创
2021-07-28 14:21:43 ·
10735 阅读 ·
2 评论