黑白影的博客

一、简介ApacheKafka是一个分布式的流处理平台。它具有以下特点：支持消息的发布和订阅，类似于RabbtMQ、ActiveMQ等消息队列；支持数据实时处理；能保证消息的可靠性投递；支持消息的持久化存储，并通过多副本分布式的存储方案来保证消息的容错；高吞吐率，单Broker可以轻松处理数千个分区以及每秒百万级的消息量。二、基本概念2.1 Messages And Batch...

一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。1.1 下载 & 解压下载对应版本Zookeeper，这里我下载的版本3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/# 下载wget https://archive.apache...

一、生产者发送消息的过程首先介绍一下Kafka生产者发送消息的过程：Kafka会将发送消息包装为ProducerRecord对象， ProducerRecord对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送ProducerRecord对象前，生产者会先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。接下来，数据被传给分区器。如果之前已经在ProducerReco...

一、消费者和消费者群组在Kafka中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka之所以要引入消费者群组这个概念是因为Kafka消费者经常会做一些高延迟的操作，比如把数据写到数据库或HDFS ，或者进行耗时的计算，在这些情况下，单个消费者无法跟上数据生成的速度。此时可以增加更多的消费者，让它们分担负载，分别处理部分分区的消息，这就是Kafka实...

一、Kafka集群Kafka使用Zookeeper来维护集群成员(brokers)的信息。每个broker都有一个唯一标识broker.id，用于标识自己在集群中的身份，可以在配置文件server.properties中进行配置，或者由程序自动生成。下面是Kafka brokers集群自动创建的过程：每一个broker启动的时候，它会在Zookeeper的/brokers/ids路径下创建一...