weixin_40954192的博客

producer生产者原理 producer是线程安全的。 生产者客户端由两条线程协调运行，分别是主线程和sender线程（发送线程）。 主线程通过KafkaProducer创建消息，然后通过拦截器，序列化器，分区器（默认DefaultPartitioner，默认进行hash求分区，如果key为null,就通过轮询方式发往可用的分区中）的作用之后将消息缓存到消息累加器中。消息累加器用来缓存消息，后续sender线程从消息累加器中获取缓存的消息进行IO操作，写入到页缓存中。消息累加...

kafka本身提供了用于生产者性能测试的命令. kafka-producer-perf-test.sh1.创建topic2.简单示例：我们向一个只有1个分区，1个副本的主题 yache中发送100万条消息,并且每条消息大小为1024B，生产者对应的ack机制是1.kafka-producer-perf-test.sh --topic yache --num-records 1000000 --record-size 1024 --throughput -1 --producer-pro..

目录集群元数据ControllerContext ControllerStats shuttingDownBrokerIds epoch & epochZkVersion liveBrokers liveBrokerEpochs allTopics partitionAssignments partitionLeadershipInfoController...

目录拦截器生产者拦截器自定义生产者拦截器序列化器反序列化器分区器消息累加器前提了解：整个kafka生产者客户端由两条线程协调运行。这两条线程分别为主线程和sender线程（发送线程）主线程的作用就是：由KafkaProducer创建消息，然后通过可能的拦截器，序列化器，分区器的作用之后缓存到消息累加器send线程的作用就是：负责将消息累加器中的消息发送到kafka中。拦截器 拦截器是在kafka0.10.0.0版本中就已经引...

kafka请求流程：1.client或者broker通过Selector发送创建连接请求。2.Processor线程接收请求，并将其转换成可处理的Request对象。3.Processor线程将Request对象放入Request队列。4.KafkaRequestHandler线程从Request队列中取出待处理请求，并进行处理。5.KafkaRequestHandler线程将Response放回到对应Processor线程的Response队列。6.Processor 线程发送 R

append: private def append(records: MemoryRecords, isFromClient: Boolean, assignOffsets: Boolean, leaderEpoch: Int): LogAppendInfo = { maybeHandleIOException(s"Error while appending records to $topicPartition in dir ${dir.getParent}") { ...

每个log对象（一个分区目录对应一个log对象）都包含了很多个日志段对象LogSegment，在Log中是以ConcurrentNavigableMap来进行管理日志段对象的。 每个日志段对象中又包含了 消息日志文件(.log)，位移索引文件(.index), 时间戳索引文件(.timeindex),已中止事务索引文件(.txnindex)等。 接下来主要通过源码，详细解读关于LogSegment中的3个主要的方法，append,recover...

kafka 始于linkedIn公司 （scala语言编写），现以捐献给apache基金会总所周知，kafka数据持久化与磁盘。为什么kafka基于磁盘比基于内存还要快。1.kafka的数据文件是二进制文件，相对文本文件要小，减少了很多数据传输，提高了速度2.kafka是对于磁盘进行顺序读写，避免了磁盘随机写的磁盘寻道的开销3.kakfa消息再写入磁盘前会先写...