困而学之，学思并重

日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一。接下来对Kafka的日志（Log）、日志段（LogSegment）以及索引（Index）源码进行尝试性分析。

主要内容：基于scala代码实现Flink1.10.0实时消费Kafka数据并写入Kafka

据了解，Kafka吞吐量峰值每秒百万，就算在内存个CPU都不高的情况下，最高可达每秒十万，并且还能做到持久化存储。Kafka如此高吞吐率的原因是什么？1 应用层面的优化使用批次：producer和consumer都使用批次进行读写——避免在网络上频繁传输单个消息带来的延迟和宽带开销；高效压缩：将多条消息压缩在一起，而不是分别压缩每条消息，自带压缩方式：GZIP和Snappy。消息在写入时进...

Kafka底层数据存储设计topic——>partitions——>segments——>.index&.logKafka中的消息是以topic为基本单位进行组织和分类；每个topic分为多个partition，partition是以文件的形式存储在文件系统中，由参数log.dir配置。如创建了名为first_topic的topic，共有3个分区，那么在...

Kafka——简介与架构一、简介1.1 概述什么是Kafka：最初由Linkedin公司开发，由scala编写，其诞生是为了解决Linkedin的数据管道问题——由于各种缺陷而导致消息阻塞或者服务无法正常访问；分布式消息队列。Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接受者称为consumer，Kafka集群由多个Kafka实例组成，每个实例...

Kafka——可靠的数据传递kafka的复制机制和分区的多副本架构时kafka可靠性保证的核心。可靠性保证ACID规范：原子性、一致性、隔离性和持久性kafka可以保证分区内消息的顺序只有当消息被写入分区的所有同步副本时（但不一定写入磁盘），才被称为“已提交”的消息只要还有一个副本时活跃的，那么已提交的消息就不会丢失消费者只能读取已提交的消息复制复制功能是kafka架构的...

指定分区从头消费指定分区从最新offset消费指定分区、offset消费指定分区从头消费package test.kafka.kafkaconsumerimport java.util.Propertiesimport java.{lang, util}import org.apache.kafka.clients.consumer.{ConsumerRecord, Cons...

在为消费者分配新分区或者移除旧分区时，可以通过消费者API执行一些应用程序代码，在调用subscribe方法时，传进去一个ConsumerRebalanceListener实例就可以了。ConsumerRebalanceListener有两个需要实现的方法。onPartitionsRevoked方法会在再均衡开始之前和消费者停止读取消息之后被调用。如果在这里提交偏移量，下一个接管分区的消费者...

Kafka提交偏移量的方式：自动提交手动提交——同步手动提交——异步自动提交package test.kafkaimport java.util.Propertiesimport org.apache.kafka.common.serialization.StringSerializerclass kafkaProperities { private val KF...

package com.ourhome.flink.testimport java.text.SimpleDateFormatimport java.util.{Date, Properties}import org.apache.kafka.clients.producer.{Callback, KafkaProducer, ProducerRecord, RecordMetadata...