Markble

消费组和偏移量的关系

https://blog.youkuaiyun.com/lishuangzhe7047/article/details/74530417

1）查看当前服务器中的所有topic[Mark@hadoop102 kafka]$ kafka-topics.sh --list --bootstrap-server hadoop102:9092[Mark@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --list2）创建topic[Mark@hadoop102 kafka]$ kafka-topics.sh --create --bootstra

1、Partition中的分段存储Segment一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀”.index”和“.log”分别表示为segment索引文件、数据文件.segment文件命名规

KafkaConsumer(消费者)每次调用 poll()方法，它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录， 我们因 此可以追踪到哪些记录是被群组里的哪个消费者读取的。之前已经讨论过， Kafka 不会像其他 JMS 队列那样需要得到消费者的确认，这是 Kafka 的一个独特之处。相反，消 费者可以使用 Kafka来追踪消息在分区里的位置(偏移量)。我们把更新分区当前位置的操作叫作提交。那么消费者是如何提交偏移量的呢?消费者往一个 叫作 _consumer_offset 的特殊主

一、leader 选举 和 follower 信息同步如上图所示，kafaka集群的 broker，和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。Producer 把数据上传到 Broker，Producer可以指定数据有几个分区、几个备份。上面的图中，数据有两个分区 0、1，每个分区都有自己的副本：0'、 1'。黄色的分区为 leader，白色的为 follower。leader 处理 partition 的所有读写请求，与此同时，.

Kafka为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同消息（在同一时刻，副本之前并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。副本处于不同的broker中，当leader副本出现故障时，从follower副本中重新选举新的leader副本对外提供服务。Kafka通过多副本机制实现了故障的自动转义，当Kafka集群中某个broker失效...

目录1 、Kafka工作流程及文件存储机制2、 Kafka生产者2.1 分区策略2.2 数据可靠性保证2.3 Exactly Once语义（数据既不重复也不丢失）3、 Kafka消费者3.1 消费方式3.2 分区分配策略3.3 offset的维护4、 Kafka高效读写数据5、 Zookeeper在Kafka中的作用6 、Kafka事务6.1 Producer事务6.2 Consumer事务（精准一次性消费）1 、Kafka工作流程及文件存储机制

1、消息队列的两种模式1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。 和.