
kafka
qq_33190134
这个作者很懒,什么都没留下…
展开
-
kafka_day03
1. kafka内核原理1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性,但是能保证数据不丢失吗? 不行,因为如果leader宕机,但是leader的数据还没同步到follower上去,此时即使选举了follower作为新的leader,当时刚才的数据已经丢失了。 ISR是:in-sync replica,就是跟leader partition保持同步的follower partition的数量,只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea原创 2020-09-21 21:26:42 · 318 阅读 · 0 评论 -
kafk_day02
1. kafka分区策略kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中1、指定具体的分区号//1、给定具体的分区号,数据就会写入到指定的分区中producer.send(new ProducerRecord<String, String>("test", 0,Integer.toString(i), "hello-kafka-"+i));2、不给定具体的分区号,给定key的值(key不断变化)//2、不给定具体的分区原创 2020-09-21 21:16:16 · 323 阅读 · 0 评论 -
kafka_day01
1. Kafka概述1.1 为什么有消息系统解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。冗余消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。扩展性因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。灵活性 &原创 2020-09-20 17:34:02 · 249 阅读 · 0 评论