KAFKA原理简介

    一个topic为一类消息，被分成多个分区，每个分区一append方式存储文件，
每条消息在文件中的位置成为offset(偏移量)，offset为long型数字。

    kafka，即使消息被消费，仍不会立即删除，根据broker配置，保留一定时间。
过后无论是否被消费，都会被清楚。

    consumer保存消费信息的offset。

    kafka通过partition将日志内容分散到多个server上，每个partition都会被
当前server保存，kafka可以配置partition的备份个数，提高可用性。

    每个partition有多个备份，一个leader，leader负责所有的读写操作，若leader挂了，
由其他follower成为新的leader。leader承载了全部请求压力，因此多个partition
多个leader，可以均衡负载。

    

    kafka中，一个partition的消息只会被group中的一个consumer消费，但是一个consumer可以
消费多个partition。

    由于kafka使用文件存储消息，为了减少磁盘IO，broker会将消息暂时buffer起来，当消息个数
达到一定阈值，在flush到磁盘。

    

    consumer在和broker建立连接后，主动去pull(fetch)消息。

    partition目录名，里边有很多大小相等的segment文件，segment为存储文件。

    每个segment file由两大部分组成，index file和data file，一一对应，分别表示索引文件和数据文件。