日常分享工作中的一些技术干货。

consumer采用【poll模式】从broker中主动拉取数据，【poll模式】的不足之处，如果kafka没有数据，消费者可能会陷入循环当中，一直返回空数据。至此，本篇就结束了，常用的消费者时间的配置是重点，以及异步提交offset是企业主要使用的消费模式，下一篇消费者拦截器。

Kafka与zookeeper之间的关联，以及broker的工作原理，正式环境中新节点的服役退役，数据的存储结构是我们必须要掌握的重点。

1.2 构建Producer1.3 消息acks应答机制消息的可靠性是很重要的，所以Kafka在生产者端acks的参数配置能够对可靠性产生很大的影响。1、acks=0，生产者在成功写入消息之前不会等待任何来自服务器的响应。2、acks=1，只要集群的Leader节点收到消息，生产者就会收到一个来自服务器成功响应。3、acks=-1，只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。问题： Leader收到数据之后，所有Follower开始同步数据，假设一个Follow

本篇我们就来了解一下怎么合理的配置分区和副本，是我们使用Kafka的关键。具体实现思路：自定义分区器实现Partitioner接口，重写partition()方法，将分区器配置到生产者配置信息中即可，代码如下。四、生产者如何提高吞吐量4.1 设置缓冲区大小4.2 设置批次大小4.3 设置延迟时间4.4 设置压缩类型算法五、为什么要使用副本呢？为了保证数据的高可靠性，常常需要将主节点数据进行备份存储，即保存一份与主节点相同的数据集，一旦主节点发生宕机等故障，通过副本还能进行数据的恢

本节我们将准备三台机器虚拟机，搭建Kafka集群，Kafka 使用 Zookeeper 来维护集群成员的信息，所以我在搭建Kafka之前，要先搭建好zookeeper集群。至此，整个kafka集群搭建完毕，下一篇我们将要说如何创建主题和分区以及副本，这也是很重要的章节。

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。