054 kafka内部机制

一：数据格式与数据存储

1.总结

　　存储在磁盘文件中（index+log）

　　顺序读写的

　　基于offset偏移量来管理数据的（主要是读操作）

　　由分区器根据key值决定数据分布到哪个分区，默认使用hash

 

2.发送的消息格式

　　

 

3.log消息格式

　　

　　

 

 

4.存储机制

　　、

 

二：分布式机制

1.总结

　　一个分区可以存在多个备份分区

　　只有一个分区是leader，leader分区提供数据的读写

　　一个broker上可能存在多个leader

　　

 

2.机制

　　

 

3.副本的复制

　　

 

4.leader选举

　　

　　-----------------------------------------------------------------------------------------------------------------------------------------

　　

　　Leader：这个意思是leader在broker的Id为2上。

 

三：kafka消息产生机制，消费机制

1.产生机制

　　

 

2.消费机制

　　

　　----------------------------------------------------------------------------------------------------------------------------