kafka和zookeeper

kafka基础

简单来说，kafka就是一个分布式的消息系统（在生产者和消费者之间构建通信），生产-存储-消费的架构。

术语的定义

Broker：Kafka集群包含一个或多个服务器，每个服务器被称为broker。
Topic：每条发布到Kafka集群的消息都有一个分类，这个类别被称为Topic（主题）。
Producer：指消息的生产者，负责发布消息到kafka broker。
Consumer：指消息的消费者，从kafka broker拉取数据，并消费这些已发布的消息。
Partition：Partition是物理上的概念，每个Topic包含一个或多个Partition，每个partition都是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。
Consumer Group：消费者组，可以给每个Consumer指定消费组，若不指定消费者组，则属于默认的group。
Message：消息，通信的基本单位，每个producer可以向一个topic发布一些消息。

拓扑结构

1、写消息时允许多个生产者写到同一个Partition中。
2、读消息时一个Partition只允许被一个消费组中的一个消费者所消费，而一