Linux平台软件设计与开发

参考TCP协议滑动窗口的方式，实现业务端消息的确认；需要自己维护消费到的位置。 根据Kafka消息队列的两个特性： 1. 每个分区的消息只能被一个消费者消费。 2. 每个分区中消息offset是有序递增的。 每个分区在内存中维护一个相对应的滑动窗口，消息的offset为其序列号；只有小于序列号SEQ1的所有消息都被正确处理，才更新消费位置，并把窗口往后滑动。

MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。MirrorMaker使用方式 启动mirror-maker程序需要一个或多个consumer配置文件、一个producer配置文件是必须的其他参数是可选的。 kafka-run-class.sh kafka.tools.MirrorMaker

server.properties中所有配置参数说明(解释)如下列表： 参数 说明(解释) broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 log.dirs=/data/kafka-logs kafka数据的存放地址，多个地址的话用逗号分割 /data/kafk

Kafka——性能逆天的存在（by 刘延允，2016-12-17）0、引言Kafka是LinkedIn开源出来的一款消息服务器，用scala语言实现；这货的性能是百万级的QPS(估计是挂载了多块磁盘)，我随便写个测试程序就是十万级。1、Kafka基本概念在Kafka中消息是按照Topic进行分类的；每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理