kafka

一、消息队列(MQ)

1.1，消息队列是消息的传输过程中保存消息的容器。它有两种模式：

（1）点对点模式：一对一，消费者主动拉取数据，消费速度由自己控制，消息收到后消息清除。

         缺点：只能一个消费者消费，且消费者需要主动监听队列。

（2）发布/订阅模式：一对多，数据生产后，主动推送给所有订阅者。

         缺点：不同客户端消费消息的速度可能不一样，而队列推送消息的速度是一样的，可能造成资源的浪费。

1.2，消息队列的优点

解耦、冗余、扩展、灵活性、可恢复性、顺序保证(先进先出)、缓冲、异步通信。

二、什么是kafka

2.1，概念

Kafka是一种高吞吐量的分布式发布订阅消息系统(集群)，它可以处理消费者在网站中的所有动作流数据。kafka对消息保存时根据Topic分类(保存在Topic中)，发送消息者成为Producer，消息接收者为Consumer。此外，kafka集群有多个kafka实例组成，每个实例(Server)称为broker。无论是kafka集群还是consumer，都依赖域zookeeper集群保存一些meta信息，保证系统的可用性。

2.2，kafka架构

Partition(分区)：负载均衡，提高并发，提高效率，可以向不同的区生产消息，同一个组的消费者不可以消费同一个分区的 消息。

Leader(主) 复制给Follower，一个broker一个Leader，生产者生产消息和消费者消费消息首先都是找Leader

Follower(从)：存备份，当有Leader挂了时，Follower工作

Zookeeper：kafka集群搭建依赖于Zookeeper。消费者消费到哪条消息的标记(offset)存在zookeeper(老版本kafka这样处理的)，新版本将offset存在Topic

2.3，kafka常用配置文件

（1）解压kafka

（2）配置文件

（3）修改config/server.properties文件

broker.id：节点id，整型唯一，我们三台分别设置0、1、2

delete.topic.enable=true：默认false，是否允许删除topic

log.dirs：除了存储日志文件，我们的发送的消息也存储在这个目录(可以自定义目录)

log.retention.hours：kafka消息保存时间(默认7天)，超过被删除

log.segment.bytes：kafka消息保存大小(默认1个G)，超过被删除

zookeeper.connect：连接的zookeeper集群

kafka集群是依赖于zookeeper集群的，要搭建启动kafka集群，必须先启动zookeeper集群。

三、kafka工作流程

3.1，生产数据流程

3.1.1，写入方式

        producer采用（push）模式将消息发布到broker，每条消息都被追加到分区(partition)中,属于顺序写磁盘(顺序写磁盘效率要比随机写内存高，保证kafka吞吐率)。

3.1.2，分区(Partition)

消息发送时都被发送到一个topic，其本质是一个目录，而topic是由一些Partition Logs(分区日志)组成，其组织结构如下图所示：

我们可以看到，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition log上，其中的每一个消息都被赋予了一个唯一的offset值。每个消费者也维护者唯一的offset，消费者A消费完消息，数据还是存在topic中的，还可以供消费者B消费，A自己不可以再重复消费了。

3.1.3，分区规则

（1）指定了partition，则直接使用

（2）未指定了partition但制定key，通过对key的value进行hash出一个partition

（3）partition和key都未指定，使用轮询选出一个partition

3.1.4，副本(Replication)

同一个partition可能会有多个副本(Replication),副本作用是做备份，Leader—>Follower(Leader和Follower不在同一台broker)，生成和消费都是找Leader，当broker挂了之后从Follower中选举出Leader，保证高可用。

3.1.5，producer写入流程

ack机制(三种情况)：

（1）当参数设置为0时：Producer不管leader响应(leader到底有没有收到消息)，只管发送，效率最高，最不安全，容易丢数据

（2）当参数设置为1时：只要Leader收到消息时，给Producer发送ACK(不管有没有备份到followers)，Producer就继续发送吓一跳数据

（3）当参数设置为all(-1)时：如上图所示，只有当leader收到消息且备份给所有followers(leader收到所有备份的ack后并向producer发送ack)，producer收到ack后才发送下一条消息。效率低，但不会丢失数据

3.2，Broker保存消息

物理上把topic分成一个或多个partition(对应server.properties中的num.partition=3配置)，每个partition物理上对应一个文件夹(该文件夹存储该partition的所有消息和索引文件)

3.3，kafka消费过程

kafka提供了两套consumer API，高级consumer API和低级consumer API。

1,高级consumer API优点：不需要自行管理offset，系统通过zookeeper自行管理。也不需要管理分区、副本等情况。

   缺点：不能自行控制offset(特殊需求：重复消费数据)、不能细化控制分区、副本、zk等

2,低级consumer API优点：能然开发者自己控制offset，想从哪读取就从哪读取。自行控制连接分区，对分区自定义进行负载均衡

   缺点：太过复杂，需要自行控制offset，连接哪个分区，找到leader等

3.3.1，消费方式

consumer采用pull(拉取)方式从broker读取数据。

         push(推)模式很难适应消费速率不同的消费者，因为消息发送速率是有broker决定的，它的目标是尽可能以最快速度传递消息，容易造成consumer来不及处理，典型的表现就是拒绝服务以及网络拥塞。而pull模式可以根据consumer的消费能力以适当的速率消费消息(同时还可以自己控制消费方式—批量消费还是逐条消费)。pull模式缺点在于：如果kafla没有数据，消费者可能陷入循环中，一直等待数据到达。为了避免，在我们拉请求当中有参数，允许消费者请求在等待数据到达的 “长轮询” 中进行阻塞。