kafka 简介

——总结自《kafka权威指南》
kafka 一般被称为"分布式提交日志"或者"分布式流平台"，kafka 的数据是按照一定顺序持久化保存的，可以按需读取。此外，kafka 的数据分布在整个系统里，具备数据保障保护和性能伸缩的能力。

kafka 数据单元被称为消息，为了提高效率，消息被分批次写入 kafka，批次就是一组消息。

kafka 的消息模式可以使用 json 或 xml（虽然易用，可读性好，但是它们缺乏强类型处理能力，不同版本的兼容性也不是很好），所以 kafka 的许多开发喜欢使用 Apache Avro。Avro 提供了一种紧凑的序列化格式，模式和消息体是分开的，当模式发生变化的时候，不需要生成新的代码，还支持强类型和模式进化，其版本既向前兼容，也向后兼容。

kafka 的消息通过主题进行分类，一个主题可以被分为若干个分区（类似于数据库中一个数据库有若干个表），一个分区就是一个提交日志，消息以追加的方式写入分区。分区可以分布在不同的服务器，即一个主题可以横跨多个服务器。很多时候，人们把一个主题的数据看成一个流。

kafka 生产者创建消息，也被称为发布者或者写入者。生产者默认情况下把消息均衡地分布到主题的所有分区上。不过在某些情况下，生产者可以通过消息键和分区器来把消息写到 指定的分区 ，分区器为键生产一个散列值，并将其映射到指定的分区上。

kafka 消费者读取数据，也被称为订阅者或者读者，消费者订阅一个或多个主题，并按照消息生产的顺序读取它们。消费者通过检查消息的偏移量来区分已经读过的数据。偏移量是另一种元数据，是一个不断递增的整数值，在创建消息时，kafka 会把它添加到消息里。在给定的分区里，每个消息的偏移量是唯一的，消费者把每个分区最后读取的消息偏移量保存在 zookeeper 或 kafka 上，若果消费者关闭或重启，它的读取状态不会丢失。

消费者组群由消费者组成，即有一个多多个消费者共同读取一个主题，群组保证每个分区只能被一个消费者使用，消费者与分区之间的映射关系被称为消费者对分区的所有权关系。通过这种方式，消费者可以消费包含大量消息的主题，而且，如果一个消费者失效，群组里的其它消费者可以接管失效消费者的工作。

broker 即一个独立的 kafka 服务器。broker 是集群的组成部分，每个集群都有一个 broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。控制器负责管理工作，包括将分区分配给 broker 和监控 broker。在集群中，一个分区从属于一个 broker，一个分区可以分配给多个 broker，这个时候会发生分区复制。

kafka 默认的保留消息策略是要么保留一段时间，要么保留到消息达到一定大小。可以通过配置把主题当做紧凑型日志，只有最后一个带有特定键的消息会被保留下来。

在 kafka 集群中，它提供了一个叫做 Mirroraker 的工具，可以用它来实现集群间的消息复制。MirrorMaker 的核心组件包含一个生产者和一个消费者，两者之间通过一个队列相连。消费者从一个集群中读取数据，生产者把消息发送到另一个集群上。