kafka初步认知

kafka：分布式消息系统，由linkedin使用scala编写，用于活动流以及运营数据处理管道的基础支持，具有高水平扩展和高吞吐量的优势。

kafka的使用场景：

作为数据管道或者消息系统来使用

与其他几种mq的对比：

组成部分概述：

一些概念：

topic：类似于新闻板块中的体育，财经，娱乐之类的分类概念，实际业务中通常是一个业务对应一个主题。

分区(partition):一个topic中消息数据被分为多个分区(partition),分区是kafka中消息消费的最小单位，一个分区可以看作为一个FIFO的队列。

大致的架构图如下：

副本备份是从0.8版本开始的新功能，保证了该系统中数据的高可靠性，防止某一个broker宕机，造成系统数据丢失不可用。

zookeeper提供分布式状态管理，分布式配置管理以及分布式锁管理等。

zk集群要求奇数数量的机器，因为本身要求集群中必须存活半数以上的机器来维持服务的正常运转。

zk配置文件的重点：

一、配置集群机器的快照数据地址。

二、配置事务日志数据的地址。

三、配置所有集群机器的通讯接口以及选举接口。

四、配置的id写入到快照数据目录下面的myid文件中。

五、可以使用crontab -e生成定时任务来调用zkCleanup.sh脚本定时清除历史日志。