liuqiang211的专栏

kafka消息消费原理演示在实际生产过程中，每个topic都会有多个partitions，多个partitions的好处在于，一方面能够对broker上的数据进行分片有效减少了消息的容量从而提升io性能。另外一方面，为了提高消费端的消费能力，一般会通过多个consumer去消费同一个topic ，也就是消费端的负载均衡机制，也就是我们接下来要了解的，在多个partition以及多个consumer的情况下，消费者是如何消费消息的同时，在上一节课，我们讲了，kafka存在consumer group

消息默认的分发机制默认情况下，kafka采用的是hash取模的分区算法。如果Key为null，则会随机分配一个分区。这个随机是在这个参数”metadata.max.age.ms”的时间范围内随机选择一个。对于这个时间段内，如果key为null，则只会发送到唯一的分区。这个值值哦默认情况下是10分钟更新一次。关于Metadata，这个之前没讲过，简单理解就是Topic/Partition和broker的映射关系，每一个topic的每一个partition，需要知道对应的broker列表是什么，lea

server: port: 8181spring: kafka: consumer: enable-auto-commit: true #开启自动提交offset group-id: consumer51 #消费者组 #earliest #当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 #latest #当各分区下有已提交的offset时，从提交的offset开.