致力于不留技术债务cuizb.top

kafka配置，生产者配置，消费者配置，topic配置，partition配置，broker配置等

Kafka是一种分布式的流处理平台，它通过文件存储机制来保证数据的可靠性，高效性和可扩展性。Kafka的数据存储是基于日志的，它将所有的消息都保存在一个或多个主题(topic)的日志文件中。每个主题都由一个或多个分区(partition)组成，每个分区都是一个有序的、不可修改的消息日志。消息按照它们的写入顺序追加到分区中，并分配一个唯一的偏移量(offset)来标识它们在分区中的位置。Kafka使用了两个文件来存储消息：消息文件和索引文件。索引文件：以.index后缀结尾，存储当前数据文件的索引；

kafka配置，生产者配置，消费者配置，topic配置，partition配置，broker配置

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。它可以作为消息系统和日志收集系统使用。

文章目录1. kafka存储结构1.1 topic1.2 partition1.3 segment1.4 message结构1.5 查找 message过程2 Kafka存储原理2.1 顺序写2.2 零拷贝2.3 缓存机制3 Kafka维护消费偏移3.1 消费偏移的更新方式3.1.1 自动提交（默认方式）3.1.2 手动提交4 日志的清除策略以及压缩策略4.1 日志删除4.2 日志压缩策略1. kafka存储结构kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset .