1、__consumer_offsets
消费者位移提交的内容最终会保存到Kafka的内部主题__consumer_offsets中,和你创建的其他主题一样,位移主题就是普通的 Kafka 主题。你可以手动地创建它、修改它,甚至是删除它;当集群中第一次有消费者消费消息时会自动创建主题__consumer_offsets ,它的副本因子还受offsets. topic.replication. factor 参数的约束,这个参数的默认值为3,分区数可以通过 offsets.topic. num.partitions 参数设置,默认为 50 。
与消费位移对应的消息只定义了key和value字段的具体内容,它不依赖于具体版本的消息格式,做到了与具体的消息格式无关。
key 和 value 中都包含了 version字段,这个用来标识具体的 key 和 value 的版本信息,不同的版本对应的内容格式可能并不相同 。就目前版本而言 , key 和 value 的 version 值都为1。
- key:除了 version 字段还有 group 、 topic 、 partition 字段,分别表示消费组的 groupId 、 主题名称和分区编号。虽然 key 中包含了4个字段,但最终确定这条消息所要存储的分区还是根据单独的 gro