个人技术博客

1、导读 笔者在生产交付的项目中使用了KAFKA，为了更好地掌握KAFKA，业余时间阅读了部分源码。KAFKA生产者的代码中有很多的精妙绝伦的设计，非常值得借鉴学习。本文将探讨KafkaProducer的消息发送流程、高并发场景下消息的缓冲机制、缓冲机制是如何通过分段加锁和读写分离巧妙提升吞吐和并发的、为减少频繁FGC设计的内存池、消息重复发送和消息丢失的场景。笔者水平有限，若有不当之处，请不吝指正。 2、消息发送的流程 KAFKA生产者客户端分别由主线程和Sender线程协调...

1、导读 KAFKA是基于Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与KAFKA集成。本文将基于KAFKAv1.1.0版本源码，探讨KafkaController的启动流程、选举流程、脑裂问题和事件队列模型。笔者水平有限，若有不当之处，敬请指正。 2、Controller...