a290450134的博客

这里的顺序指的是数据写入的数据，并不是数据发送的顺序。红色为：leader。青色为：follower。黑色为：宕机。黄色为：恢复。比如：数据1 写入 partition1,partition2,partition3。完成提交 数据2进行写操作，leader写入后宕机（还有没对副本进行同步），数据2进行retry。 此时partition2已经变更为leader。 ...

上文地址：https://blog.youkuaiyun.com/a290450134/article/details/100519107业务场景上从kafka消费数据，根据业务类型，走不同的业务处理路线，有两种业务类型处理耗时较高。默认一次poll500条，碰巧两种业务类型比较集中，导致处理超过max.poll.interval.ms。然后就是rebalance无限的重复消费，偏移量一直不能提交。然后...

重点、重点、重点: 重启kafka一定要先看看持久化有没有问题。首先，问题没有解决，只是阐述过程和问题。问题关键字：偏移量提交失败，重复消费，新的group不能消费到历史数据版本：0.10.2 场景：consumer两个group进行消费，但是偏移量从某一时间点开始就无法进行提交。一直在循环消费一个时间段的数据。尝试重启项目，还是不能正常进行消费，偏移量还...