
Kafka
Kafka源码级别探索
yes的练级攻略
微信搜一搜【yes的练级攻略】专注分享硬核后端技术,关注后回复【123】有一份20w字的高质量全面算法笔记等你领取。
展开
-
面试官:说说Kafka控制器事件处理全流程
前言大家好,我是 yes。这是Kafka源码分析第四篇文章,今天来说说 Kafka控制器,即 Kafka Controller。源码类的文章在手机上看其实效果很差,这篇文章我分为两部分,第一部分就是直接图文来说清整个 Kafka 控制器事件处理全流程,然后再通过Controller选举流程进行一波源码分析,再来走一遍处理全流程。一些在手机上看的同学可以直接看前半部分,没有一堆代码比较舒适,也能看明白整个流程,后面源码部分看个人了。不过建议电脑端看效果更佳。正文在深入源码之前我们得先搞明白 C原创 2020-07-22 20:59:43 · 482 阅读 · 0 评论 -
Kafka处理请求的全流程解析
大家好,我是 yes。这是我的第三篇Kafka源码分析文章,前两篇讲了日志段的读写和二分算法在kakfa索引上的应用今天来讲讲 Kafka Broker端处理请求的全流程,剖析下底层的网络通信是如何实现的、Reactor在kafka上的应用。再说说社区为何在2.3版本将请求类型划分成两大类,又是如何实现两类请求处理的优先级。#叨叨不过在进入今天主题之前我想先叨叨几句,就源码这个事儿,不同人有不同的看法。有些人听到源码这两个词就被吓到了,这么多代码怎么看。奔进去就像无头苍蝇,一路断点跟下来,跳来跳原创 2020-07-08 20:47:37 · 944 阅读 · 3 评论 -
Kafka索引设计解析
前言其实这篇文章只是从Kafka索引入手,来讲述算法在工程上基于场景的灵活运用。单单是因为看源码的时候有感而写之。索引的重要性索引对于我们来说并不陌生,每一本书籍的目录就是索引在现实生活中的应用。通过寥寥几页纸就得以让我等快速查找需要的内容。冗余了几页纸,缩短了查阅的时间。空间和时间上的互换,包含着宇宙的哲学。工程领域上数据库的索引更是不可或缺,没有索引很难想象如此庞大的数据该如何检索。明确了索引的重要性,咱再来看看索引在Kafka里是如何实现的。索引在Kafka中的实践首先Kafka的索引是原创 2020-07-02 22:25:01 · 914 阅读 · 0 评论 -
Kafka日志段读写解析
引子之所以写这篇文章是因为之前面试时候被面试官问到(倒)了,面试官说:“你说你对Kafka比较熟?看过源码? 那说说kafka日志段如何读写的吧?”我心里默默的说了句 “擦…我说看过一点点源码,不是亿点点。早知道不提这句了!”,那怎么办呢,只能回家等通知了啊。但是为了以后找回场子,咱也不能坐以待毙,日拱一卒从一点点到亿点点。今天我们就来看看源码层面来Kafka日志段的是如何读写的。Kafka的存储结构总所周知,Kafka的Topic可以有多个分区,分区其实就是最小的读取和存储结构,即Consum原创 2020-06-27 11:46:46 · 1146 阅读 · 0 评论