Kafka知识点记录

最新推荐文章于 2025-06-13 08:15:00 发布

原创最新推荐文章于 2025-06-13 08:15:00 发布 · 207 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #大数据

大数据同时被 2 个专栏收录

8 篇文章

订阅专栏

kafka

3 篇文章

订阅专栏

本文记录Kafka相关知识点，包括consumer订阅topic后，调用poll方法加入消费者组，Kafka分配partition并发送消息，consumer接收消息和提交offset。介绍了管理offset的自动和手动两种方式，还说明了消费者组中consumer对partition的分配规则及分区重新分配情况，最后提及ConsumerRecords获取消息的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka知识点记录

consumer订阅topic之后，当consumer调用poll(Long)方法的时候，会自动加入消费者组，然后Kafka为consumer分配partition，接着Kafka将partion中的消息发送给consumer，consumer接收partition中的消息，提交offset。
partition中的消息都有一个offset，offset是patition中消息的唯一标识符，它还表示consumer在partition中的位置。eg.如果提交的offset=5，表示consumer将接收offset=5的消息，offset=1,2,3,4的消息都认为已被消费。
管理offset的两种方式：
– 自动提交offset
需要指定enable.auto.commit=true ，consumer调用poll(Long)方法，消息返回给用户时，消息被认为已消费，提交的offset=返回的最后一条消息的offset+1，consumer将会接收提交的offset的消息。
– 手动提交offset
手动提交offset与自动提交offset不同，需要指定enable.auto.commit=false，消息返回给用户时，消息此时不被认为已消费，也不会提交offset。想要提交offset需要调用commitSync或者commitAsync。
有相同group.id的consumer属于同一消费者组，消费者组中的consumer会被均衡分配partition，partition只会分配给同一消费者组中的一个consumer。
假设一个topic有8个partition，有一个消费者组，这个消费者组有4个consumer。那么一个consumer会有2个partition。
eg.假如消费者组的1个consumer出问题，比如crash，分区会被重新分配，其中2个consumer分别有3个partition，另一个consumer有2个partition
eg.假如消费者组新增4个consumer，分区会被重新分配，每个consumer有1个partition。
eg.假如消费者组新增5个consumer，分区会被重新分配，其中4个consumer分别有1个partition，另一个consumer不会被分配partition。
eg.假如新增一个消费者组，这个消费者组有4个consumer，分区会被重新分配，每个消费者组中的每个consumer会有1个partition。
ConsumerRecords：
获取给定topic中的消息
获取给定partition中的消息
获取给定消息集中消息所在的partition