Kafka详解-优快云博客

优点：

消费者可以根据自身的情况来发起拉取消息的请求。

拉模式下 Broker 就相对轻松了，它只管存生产者发来的消息。

拉模式可以更合适的进行消息的批量发送

缺点：

消息延迟，毕竟是消费者去拉取消息，但是消费者怎么知道消息到了呢。所以它只能不断地拉取，但是又不能很频繁地请求，太频繁了就变成消费者在攻击 Broker 了。因此需要降低请求的频率，比如隔个 2 秒请求一次，你看着消息就很有可能延迟 2 秒了。

消息忙请求，比如消息隔了几个小时才有，那么在几个小时之内消费者的请求都是无效的，在做无用功。

2、Kafka拉模式实现原理

RocketMQ 和 Kafka 都是利用“长轮询”来实现拉模式。Kafka 在拉请求中有参数，可以使得消费者请求在 “长轮询” 中阻塞等待。简单的说就是消费者去 Broker 拉消息，定义了一个超时时间。拉消息时，如果有的话马上返回消息，如果没有的话消费者等着直到超时，然后再次发起拉消息请求。

并且 Broker 也得配合，如果消费者请求过来，有消息肯定马上返回，没有消息那就建立一个延迟操作，等条件满足了再返回。

参考：消息队列之推还是拉，RocketMQ 和 Kafka 是如何做的？_kafka_yes_InfoQ写作社区

2.1、消费端实现逻辑

client.poll() 方法如下。实际调用的是kafka的包装过的selector。最终会调用到 Java nio的select(timeout)

2.2、Kafka实现逻辑

KafkaApis.scala 文件的 handle方法：

handleFetchRequest的重要部分源码如下：

fetchMessages实现如下：

3、点对点和发布订阅

在点对点系统中，消息保留在队列中。一个或者多个消费者可以消费队列中的消息，但是特定消息只能由一个消费者消费，一旦该消息被一个消费者消费，他就会从队列中消失[不会将消息落磁盘]。

在发布订阅系统中，消息被保存在topic中。与点对点的不同的是，消费者可以订阅多个topic，一个topic中的消息可供多个消费组消费。

Kafka是一种高吞吐量的分布式发布订阅消息系统。具有高性能、持久化、多副本备份、横向扩展能力。

QA：kafka怎么实现点对点？

参考：Kafka如何实现点对点消息和发布订阅消息？-阿里云开发者社区

实现点对点：通过不同的消费者消费不同的partiton实现。

三、kafka的工作原理

1、基本概念及结构

kafka集群结构图

producer：消息的生产者

consumer：消息的消费者

kafka cluster：

Broker：是kafka的实例，每个服务器上有一个或者多个Broker。假设一台机器一个Broker实例，每个Broker都有一个不重复的编号

Topic：消息的主题，可以理解为消息的分类。kafka的数据就保存在topic中。在每个Broker上都可以创建多个Topic。

Partition：Topic的分区。每个Topic可以有多个分区。分区的作用是做负载，提高kafka的吞吐量。同一个Topic的每个分区中的数据是不重复的，partition的表现形式是一个一个文件夹。每个partition只能被一个consumer消费。

Replication：每一个分区有多个副本，当Leader故障时，会选择一个follower成为leader。kafka的最大默认副本数是10，且副本的数量不能 > broker的数量。每个partition的副本和leader绝对不在同一台机器上。