mimsmile的博客

kafka的特性1.kafka中，写入一个partion照片中的数据是一定有顺序的2.kafka中一个消费者消费一个partion的数据，消费者取出数据时，也是有顺序的需要顺序的场景1.数据库中的binlog2.一些业务需要，比如希望把某个订单的数据写入一个partion为何消息会错乱1.由于消费者消费消息之后，消费之后，有可能交给很多个线程去处理数据（如下图），这样就导致数据顺序错...

kafka数据丢失分为两个部分，分别是生产者和kafka应用交互时丢失，消费者丢失1.生产者和kafka应用交互kafka存储一个topic中的数据至kafka时，会存储至不同的partion，每个partion又会有多个副本，当某一个broker宕机时，kafka会去重新选举partion的leader，如果此时follower中的数据没有和leader中保持一致的话，就会导致数据丢失。解...

kafka是分布式架构，一般kafka会部署成集群，即部署多台broker。kafka写入消息时，同一个topic的数据1、数据2、数据3写入不同的partion中。kafka的高可用机制是在0.8版本之后才引入的，kafka的每个partion都会在其它机器上存储一个副本，作为这个partion的follower，当某个broker宕机时，会从ISR（存放所有已同步数据的副本）中取出一个fol...

1.什么是kafka消费消息时的幂等性kafka消费消息时的幂等性，简而言之就是消费者对接口的多次调用所产生的结果和调用一次是是一致的，也就是说在kafka中有可能会消费到重复的数据，这个时候需要客户端去处理这种情况，使得消息消费一次和消费多次是一样的结果。2.产生原因数据流转：生产者：生产者会往kafka中发送消息，kafka会给每条消息一个offset，代表这个数据的序号；消费者...

分区（partion）kafka中的topic可以细分为不同的partion，一个topic可以将消息存放在不同的partion中。leader和follower每个partion可以设置一个leader和多个follower。kafka的消息没有设置读写分离，每个消息发送时，都是发送至对应的partion的leader-paertion，follower-partion主要是为了备份数据而...