努力奋斗的北漂程序员

文章目录日志索引偏移量索引时间戳索引日志清理日志存储高吞吐量的存储层次原因日志索引索引文件以稀疏索引的方式构造消息的索引，每当写入一定量，偏移量索引文件和时间戳索引文件分别增加一个偏移量索引项和时间戳索引项。俩个索引文件采用二分查找快速定位偏移量索引日志分段后，为每个日志对象使用ConcurrentSkipListMap来保存各个日志分段，每个日志分段的baseOffset作为key，这样可以根据指定偏移量快速定位到消息所在的日志分段时间戳索引新追加的时间戳索引项中的timestam

文章目录基本概念消息投递模式消息消费位移提交再均衡多线程基本概念消费者：负责定于Topic，并从Topic拉取消息消费组：每个消费者都有对应的消费组。消息发布到Topic中，只会被投递给订阅它的每个消费组中的一个消费者​ 基于消费者-消费组的模型，可以是的Kafka在消费消息方面具有很好的伸缩性。消息投递模式点对点：每条消息只会被一个消费者使用发布订阅：一对多广播可以采用集合或者正则表达式订阅主题集合方式，以最后一次的为准正则，以最新为准，一般多用于系统之间数据复制除订阅主题外，可以

文章目录基本知识发送消息的三种形式分区器拦截器原理分析整体流程元数据元数据的更新操作基本知识我们所说的消息本质是ProducerRecord中的一个value属性。除此之外，还应当包括主题，分区号，消息头部，键，消息的时间戳。建可以用来计算分区号，从而发送特定的区Producer本质是线程安全的，多线程可共享实例发送消息的三种形式发送即忘同步异步分区器如果没有指定partition，则要通过key计算，发往哪个分区默认的分区器会对key进行哈希计算来判断发往哪个分区（所

文章目录作用体系相关ZooKeeperBrokerTopicPartitionOffSetReplicaARISROSR作用削峰解耦异步体系相关基本结构是生产者-消费者模型ZooKeeper用来负责群元数据的管理控制器的选举Broker服务节点，如果单机部署kafka，也可以理解为服务实例Topic译为主题，消息以主题为单位进行归类，生产者发送消息到指定主题，消费者到指定主题去pull消息Partition译为分区，同主题密切相关。一个主题可以划分多个分区，