github_36444580的博客

拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.client

Kafka生产过程分析写入方式producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。分区（Partition）消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些PartitionLogs(分区日志)组成，其组织结构如下图所示：我们可以看到，每个Partition中的消息都是有序的，生产的消息被不断...

高级API1）高级API优点高级API 写起来简单不需要去自行去管理offset，系统通过zookeeper自行管理不需要管理分区，副本等情况，系统自动管理消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据（默认设置1分钟更新一下zookeeper中存的的offset）可以使用group来区分对同一个topic 的不同程序访问分离开来（不同的group记录不同的offset，这样不同程序读取同一个topic才不会因为offset互相影响）2）高级AP

环境准备集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka jar包下载下载地址：http://kafka.apache.org/downloads.html虚拟机准备1）准备3台虚拟机2）配置ip地址3）配置主机名称4）3台主机分别关闭防火墙安装jdk...

kafka的Consumer均衡算法有一个topic：test，然后这个topic的partition和他们所在的broker的图如下：1.其中 broker有两个，也就是服务器有两台。2.partition有6个，分布按照如图所示，按照哈希取模的算法分配。3.消费者有8个，他们属于同一个消费组。如果按照如图所示，那么这一个消费组中的消费者会怎么取kafka的数据呢？其实kafka的消费端有一个均衡算法，算法如下：1.A=(partition数量/同分组消费者总个数)..