18、Apache Kafka：消息系统、事件存储与应用集成的全方位指南

Apache Kafka：消息系统、事件存储与应用集成的全方位指南

1. Kafka 作为消息系统

Kafka 通过消费者组（Consumer Group）的概念，提供了消息系统的队列（http://en.wikipedia.org/wiki/Message_queue）和发布 - 订阅（http://en.wikipedia.org/wiki/Publish - subscribe_pattern）两种模式。发布在主题分区上的消息会广播到每个消费者组内的一个消费者，并且在消费者组内，每个消费者从主题的不同分区接收消息。因此，消费者组中的消费者数量不能超过主题中的分区数量。如果消费者数量多于分区数量，多余的消费者将处于空闲状态，只有当组内某个消费者出现故障时，它们才会开始接收消息。

1.1 示例演示

1.1.1 不同消费者组

启动一个额外的消费者来测试 Kafka 的消息传递能力：

# 启动另一个消费者
% bin/kafka - console - consumer.sh --bootstrap - server localhost:9092 --topic test --from - beginning

启动消费者后，生产者发送的任何消息都会被两个消费者接收。这是因为两个消费者属于不同的消费者组，Kafka 会将主题上发布的消息广播到各个消费者组。

1.1.2 同一消费者组

停止两个消费者进程，然后将它们作为同一消费者组的一部分启动：