pezynd的专栏

第一章 简介

第1章 简介本篇文章从源码的角度，介绍Kafka生产者如何封装消息，细节详见代码中注释。第2章 详细步骤2.1 消息大小的校验在封装前会先进行数据大小的校验org.apache.kafka.clients.producer.KafkaProducer#doSend//TODO 校验消息大小int serializedSize = AbstractRecords.estimateSizeInBytesUpperBound(apiVersions.maxUsableProduce

第1章 简介Kafka生产这端分区分配规则，第2章根据qian元数据信息，确定数据发往哪个partition

第1章 简介经过上一篇文章的讲解，大致了解了Producer发送消息的流程，本篇文章我们阅读以下Producer获取元数据的详细步骤。第2章 详细步骤2.1 sender线程拉取元数据sender线程启动以后，会执行run()=>runOnce()=>client.poll()执行kafka client的网络请求开始执行如下代码。@Overridepublic List<ClientResponse> poll(long timeout, long now)

第1章 简介Kafka为什么能被广泛使用？为什么吞吐量能这么大？他既能在OLTP场景系统中做消息队列，又能在OLAP系统中做大数据实时消息流的暂存。这个强大的一个框架，源码必须得学习学习！笔者Kafka源码文章使用Kafka版本v2.7.0进行编写，不妥之处欢迎留言指点，感激不尽！Kafka源码是Java和Scala语言编写，生产者部分主要是Java语言。下面我们先看看整体的流程，再一步一步剖析细节。第2章 源码结构Kafka源码结构如下：生产者和消费者主要再clients下，而服.