ja_nus_的博客

1.：当生产者发送消息到 Kafka broker 时，这些消息首先被写入到内存中的缓存，即操作系统的 PageCache。PageCache 是操作系统用于缓存文件数据的内存区域，可以显著提高文件读写的性能。2.：消息在 PageCache 中积累到一定量后，Kafka 会异步地将这些消息从缓存写入到磁盘上。这种异步操作意味着消息的写入磁盘过程不会阻塞生产者发送消息的操作，从而提高了整体的处理速度。3.

在理解Rebalance全流程之前，需要了解消费者组的状态流转这个前置知识。

对于如何处理请求，我们很容易想到的两个方案。

所谓的副本机制（Replication），也可以称之为备份机制，通常是指：分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢?但Kafka的副本机制只能保证数据冗余，无法提升读性能和其他优点。为什么呢？

Rebalance是Kafka中消费者组（Consumer Group）内部的一个重要机制，指的是消费者实例之间重新分配Topic分区（Partition）的过程。Rebalance的目的是确保消费者组能够均匀地消费数据，从而提高系统的性能和稳定性。

Kafka数据清理策略是由log.cleanup.policy参数决定的,当前有两种策略，第一种是delete，第二种是compact。

首先，kafka保证消息不丢失，是由一定限制的。一句话概括，Kafka 只对的消息（committed message）保证不丢失。什么叫做已提交的消息？Kafka的若干个Broker将消息写入日志时，会回调告诉生产者这条消息已经提交。那为什么是若干个 Broker 呢？这取决于你对“已提交”的定义。你可以选择只要有一个Broker 成功保存该消息就算是已提交，也可以是令所有 Broker 都成功保存该消息才算是已提交。不论哪种情况，Kafka 只对已提交的消息做持久化保证这件事情是不变的。

可一旦你在 Broker 端设置了不同的 compression.type 值，就一定要小心了，因为可能会发生预料之外的压缩 / 解压缩操作，通常表现为 Broker 端 CPU 使用率飙升。一般情况下这种消息格式转换对性能是有很大影响的，除了这里的压缩之外，它还让 Kafka 丧失了引以为豪的 Zero Copy 特性。因此如果 Kafka 享受不到这个特性的话，性能必然有所损失，所以尽量保证消息格式的统一吧，这样不仅可以避免不必要的解压缩 / 重新压缩，对提升其他方面的性能也大有裨益。

这种分区的理念，在其他中间件也有体现。比如一个主题下有 3 个分区，那么第一条消息被发送到分区 0，第二条被发送 到分区 1，第三条被发送到分区 2，以此类推。消息进入topic，会通过一定的策略，发送到不同的分区。常见的分区策略有下面几种。Kafka 允许为每条消息定义消息键，简称为 Key。轮询策略有非常优秀的负载均衡表现，它总是能保证消息最。分区的作用即是为了负载均衡，提高消费速度。Key 的所有消息都进入到相同的分区里面。随意地将消息放到任意一个分区。Kafka如何定义分区策略？

一个开源的消息引擎系统。A系统发送给消息引擎，B系统接受消息引擎的消息。为什么众多消息引擎，偏偏选择了Kafka呢？性能高、提供了持久化存储的能力。同时Kafka又是个分布式流处理平台。通常来说，有下面两种方式。1.点对点方式：A系统发消息，只发给B系统。其他系统不能接收2.发布/订阅模型：有一个主题TOPIC，发送方可以是很多个。而接收方，也可以是很多个。而Kafka可以基于这两个方式，都能传输消息 削峰填谷。顾名思义，就是说，削减峰值流量，平滑流量曲线，防止一瞬间涌入大量的消息，打爆系统，