kafka offset配置追踪

offset：记录消费消息的位移

offset作用域：分区(partition)

自动提交

(1)如果enable.auto.commit设置为true，消费者会自动把从poll()方法接收到的最大偏移量(offset)提交上去。提交时间间隔由auto.commit.interval.ms控制，默认值5s

(2)自动提交是在轮询里进行的，消费者每次在进行轮询时会检查是否该提交偏移量了，如果是那么就会提交从上一次轮询返回的偏移量

(3)在5s提交时间间隔内有可能会产生新的消息，这个时候偏移量会出现落后的情况，所以在这期间的消息会被重复处理。可以通过修改提交时间间隔来更频繁地提交偏移量，减小可能出现重复消息的时间窗口，但这种情况是无法完全避免的

(4)自动提交每次调用轮询方法都会把上一次调用返回的最大偏移量提交，它本身并不知道具体哪些消息已经被处理了，所以再次调用之前最好确保所以当前调用返回的消息都已经处理完毕(enable.auto.commit设置为true时，调用close方法之前也会进行自动提交)，一般情况下不会有什么问题，不过在处理异常或提前退出轮询时要格外小心

消费者的配置参数

earliest：当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费

latest：当各分区下有已提交的offset时，从提交的offset开始消息；无提交的offset时，消费新产生的该分区下的数据

none：topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

只要group.id不变，不管auto.offset.reset设置成什么值，都从上一次消费结束的地方开始消费。

从头开始消费：

       (1)consumer.group.id 换成新的

       (2)auto.offset.reset设置成earliest

从尾开始消费：

       (1)consumer.group.id换成新的

       (2)auto.offset.reset设置成latest