kafka详解

高吞吐率：在廉价的商用机器上单机可支持每秒100万消息的读写

消息持久化 所有的消息均被持久化到磁盘，无消息丢失，支持消息重放

完全分布式 Producer, Broker,Consumer均支持水平扩展

同时满足适应在线流处理和离线批处理

 

kafka中自带zookeeper

 

kafka partition中具体存储信息的块叫segment(块/节)

 

我们的消息具体在我们磁盘对应的哪个目录中存储的呢？

是在我们的kafka-log文件夹下，存储了我们topic和分区的具体信息

用 topic-0 topic-1 topic-2这种形式，这个是代表我们的topic有三个分区，分别是012，在这里面有俩个文件

0000000.index 这个是消息的索引，index中会存每条消息的起始位置和结束位置，和它offset的对应关系，我们在查找某个offset下面的数据的时候，我们实际上是可以利用index下边文件去找到这个offset对应的在log的文件中的起始位置，那么为什么名字是000000？这个是因为这俩个文件构成一个segment，每个segment是以这个segment中存储的offset,第一条数据的offset值作为文件名

0000000.log 真正的消息存放的地方

 

Producers，分为俩种一种是同步producer，一种是异步producer0