KAFKA

项目为什么采用KAFKA？

大数据平台数据量大，每日3.5亿笔交易，硬盘存储

发布订阅模式，很多项目组(消费者组)都需要消费同一个主题，kafka是典型的发布订阅模式

稳定的流处理消息来源

--------------------------

AR【分区中的所有副本】

ISR【与分区leader副本保持一定程度同步的副本】ISR机制保证高性能与可靠性

OSR【与分区leader副本同步滞后过多的副本】

HW【高水位】消费者只能拉取当前日志此offset(不包括)之前的消息

LEO【log end offset】当前日志文件中下一条消息将要写入的offset

--------------------------

看一下序列化的本质，对比kafka生产者中指定序列化类的目的

producer->拦截器(链)->序列化器->分区器->buffer缓冲区-双端队列Deque<ProducerBatch> ->sender线程-<broker节点Node，List<ProducerBatch>-<Node,Request>->borker

KafkaProducer对象多线程安全，因为无状态，即无共享变量被多线程同时修改

点对点模式(队列)/发布订阅模式(广播)

消费者可以只订阅某个主题的特定分区进行消费，而不是消费整个主题的所有分区。P52 assign()。场景：生产者通过分区器将 云闪付交易/刷卡交易 发送到不同分区，消费者按需求消费

消费位移提交问题：重复消费、消息丢失 实际场景P65

自动提交、手动提交

指定消费位移处开始消费:seek() P73

获取分区指定时间处之后的第一条数据的偏移量，从此处开始消费 P77 P185

再均衡监听器-》解决：消费组新增加一个消费者时，会将不同分区重新分配给各个消费者消费，分区之前的所有者还没来得及提交位移就被新消费者抢走分区了，导致重复消费。

 消费者拦截器，应用场景：10s之前的消息在poll返回List之前过滤掉

KafkaConsumer对象非线程安全，同一时间只能一个线程在操作它，比如项目中的主线程

分区重分配：kafka服务集群中各个broker负责存储哪些分区副本，将某个broker上的副本交给其他broker存储就叫分区重分配。触发分区重分配的场景： 新增broker、broker节点宕机、新增分区场景

分区数选择

---------------------------------

日志存储格式：P162、P164:【 log.dir配置的根目录-存储topic日志    每个topic->多个partitions->每个partition对应多个副本->每个副本有一个存储日志目录->日志分段->目录下有.log日志文件+位移索引文件.index+时间索引文件.timestamp】

索引特点：稀疏、单调递增、内存、二分查找

日志切分、索引切分

偏移量索引格式：相对位移+物理位置

如何查找一个给定偏移量xxx的记录？ P183 日志分段存储采用concurrentSkipListMap跳表-》找到yyy.log-》计算目标记录在文件中的相对位移z=xxx-yyy -》二分查找比z小的那个索引，拿到索引消息的物理位置position-》根据position顺序查找磁盘

时间戳索引格式：时间戳+相对位移

如何查找给定时间戳的下一条记录？P185 时间戳-》对比每个分段日志最后一条记录时间戳-》找到分段日志-》找到分段日志对应时间戳索引文件-》找时间戳索引，获取相对偏移量-》找偏移量索引文件中对应索引，找到分段日志物理位置-》从物理位置依次向下查找，对比记录的时间戳和给定时间戳

磁盘存储为什么还这么快？文件追加-顺序写盘、页缓存

--------------------------------------------

服务端

生产者向服务端发送消息的请求协议类型 ProducerRequest/ProducerResponse

follower向leader、consumer向server 拉取消息的拉取协议 FetchRequest/FetchResopnse，及拉取协议引入session_id优化，不必传输需要拉取的topics信息

时间轮：处理延时操作，如延时生产、延时拉取、延时删除等。设计灵感时钟的时分秒。时间轮升降级机制

什么是延时生产？ack=-1。producer生产数据-》leader写入后，follower进行拉取同步，给这个同步过程设置一个超时时间，延时操作管理器的定时器(时间轮实现)负责管理这个超时时间，一旦到达超时时间强制响应producer。

Kafka集群中的broker leader通过监听ZK中各个功能节点的变化来触发集群操作

----------------------------------------------

客户端

分区分配策略：范围、轮询、粘性。范围和轮询为什么存在分配不均问题？粘性策略怎么解决的？

自定义分区器

每个消费组在服务端都有一个组协调器：GroupCoordinator，负责执行消费者再均衡操作