chc340121的专栏

KafkaProducer发送消息流程(生产者横向扩展)在kafka中，如果某个topic有多个partition，producer又怎么知道该将数据发往哪个partition呢？kafka中有几个原则：partition在写入的时候可以指定需要写入的partition，如果有指定，则写入对应的partition 如果没有指定partition，但是设置了数据的key，则会根据key的值hash与分区数取余算出一个partition 如果既没指定partition，又没有设置key，则会轮.

消费者 rebalance 策略1.什么是Rebalance重新负载？ Rebalance，即对 Kafka 中的分区进行重新分配的过程。如需详细了解 Kafka 的分区分配策略，请点击链接跳转了解更多：8.Kafka 分区分配策略2.什么时候触发Rebalance操作 当出现以下几种情况时，Kafka 会进行一次重新分区分配操作，即 Kafka 消费者端的 Rebalance 操作① 同一个 consumer 消费者组 group.id 中，新增了消费...

数据文件的分段和索引kafka解决查询效率的手段之一是将数据文件分段存储，可以配置每一个文件的大小。每一个端段单独放在一个.log的文件中，数据文件命名是20个字符的长度，以每一个分段文件开始的最下offset来命名，其他位置用0填充。最初始的文件是00000000000000000000.log命名的，比如下一个log中的第一条消息的offset是18987，则该log文件的命名是00000000000000018987.log其中每一个log文件的大小默认是1GB，每生成一个log文件就会对应产

1、页缓存 + 顺序写为了优化读写性能，Kafka利用了操作系统本身的Page Cache，就是利用操作系统自身的内存而不是JVM空间内存。这样做的好处有： 1避免Object消耗：如果是使用 Java 堆，Java对象的内存消耗比较大，通常是所存储数据的两倍甚至更多。 2避免GC问题：随着JVM中数据不断增多，垃圾回收将会变得复杂与缓慢，使用系统缓存就不会存在GC问题Kafka在写数据的时候，一方面基于了os层面的page cache来写数据，所以性能很高，本...

Kafka索引机制数据文件的分段和索引kafka解决查询效率的手段之一是将数据文件分段存储，可以配置每一个文件的大小。每一个端段单独放在一个.log的文件中，数据文件命名是20个字符的长度，以每一个分段文件开始的最下offset来命名，其他位置用0填充。最初始的文件是00000000000000000000.log命名的，比如下一个log中的第一条消息的offset是18987，则该log文件的命名是00000000000000018987.log其中每一个log文件的大小默认是1GB，每.

Kafka如何保证数据的可靠性和一致性1数据可靠性 1.1Topic 分区副本 Kafka 可以保证单个分区里的事件是有序的，分区可以在线（可用），也可以离线（不可用）。在众多的分区副本里面有一个副本是 Leader，其余的副本是 follower，所有的读写操作都是经过 Leader 进行的，同时 follower 会定期地去 leader 上的复制数据。当 Leader 挂了的时候，其中一个 follower 会重新成为新的 Leader。通过分区副本，引入了数据冗余，同时也提供了 Ka..