zhangshenglu1的博客

kafka集群中会有一个或者多个broker，其中只有一个broker会被选为控制器（kafka controller），其负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化，控制器将通知所有的broker更新其元数据信息。​ 控制器的选择时通过向zookeeper中写入临时节点/co...

kafka主题与分区​ 主题和分区时kafka的两个核心概念，主题作为消息的归类，可以在细分为一个或者多个分区，分区可以看作是对消息的二次归类。分区的划分不仅可以为kafka提供了可伸缩性，水平扩展能力，还可以通过副本机制来为kafka提供数据冗余以提高数据的可高性。从底层上来说，主题和分区都是逻辑上的概念。分区可以有一个或多个副本，每个副本对应一个日志文件，每个日志文件对应一个或多个日志段文...

​ 对于kafka 中 的分区而言，它的每条消息都有唯一的offset,用来表示在分区中对应的位置。对于消费者而言，它也有一个offset的概念，消费者使用offset来表示消费到分区中某个消息所在的位置。这里所介绍的是消费者的位移，即第二种情况。​ 在每次调用poll方法的时候，返回的是还没有消费过的消息集，要做到这一点，就需要记录上一次消费时候的消费位移，并且这个位移必须是做持久化的保存，而...

kafka消费者使用详解消费者maven依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version&gt...

一、消费者与消费组概念消费者（cunsumer）负责订阅kafka中的主题（topic)，并且从主题上拉取消息。与其他的一些消息中间件不同的是：在kafka的消费理念中还有一层消费组的概念，每个消费者都有一个对应的消费组。当消息发布到主题后，智慧被投递给订阅它的每个消费组中一个消费者。​ 消费者与消费组下面我们来看下消费组内的消...

kafka 生产者__重要参数[可以参考官网资料][http://kafka.apache.org/documentation.html#producerconfigs]1、acks:这个参数中是用来指定分区中必须要有多少个副本收到这条消息，之后生产者猜会认为这条消息是成功写入的。acks是生产者客户端的一个非常重要的参数。它涉及到消息的可靠性和吞吐量之间的权衡。ack=1：默认值为1...

kafka 生产者__sender线程源码剖析前面我们已经讲解到kafka将消息放入消息累加器中，在本篇中将分析sender如何从RecordAccumulator中获取消息，并发送到broker去。在实例化kafka对象的时候，我们会创建并启动sender线程： this.sender = newSender(logContext, kafkaClient, this....

在上一篇中我们详细的讲解kafka生产者实例源码及send()方法的源码。并且知道消息最终添加到消息累加器RecordAccumulator 中。那接下来我们看看kafka是如何实现消息的累加和缓存的。类的主要定义和主要成员变量如下：public final class RecordAccumulator { private final Logger log; //创建的时候...

​ kafka生产者客户端的整体架构上一篇的kafka生产者详解时候，我们详细介绍使用kafka生产者发送消息及配置。从上面的架构图我们很清楚的看到整个kafka的生产端是由两个线程协调运行，这两个线程分别为主线程和sender线程。生产者在主线程中创建消息，然后可能通过拦截器、序列化器以及分区器后缓存到消息累加器（RecordAccumul...

初始kafka一、kafka基本概念​ 一个典型的kafka体系架构包括若干个Producer、Consumer、broker及一个Zookeeper集群。Zookeeper是kafka用来负责集群元数据管理、控制器的选举等操作。​ producer负责将消息发送到broker中，broker负责将接收到的数据写入到磁盘，而consumer负责从broker中消费消息。​ ...