Erick Lv的笔记

可靠性保证和复制机制 Kafka的以下几个基本特性保证了基本的可靠性： Kafka保证一个分区的消息是FIFO的 只有消息写入了所有分区的同步副本时，才认为是已提交的 只要有一个副本活跃，则消息就不会丢失 消费者只能读取已提交的消息 生产者可以进行有关配置，使得不一定等到数据认为是已提交的之后，才进行下一轮的投递，这是在可用性和一致性的之间的平衡 分区副本复制方式和同步条件： 每个分区所在的...

Kafka的复制和备份 关于分区的几个总结： 一个分区a有一个首领broker A，且a是首领分区 一个分区可以在多个broker中存在副本，此时这些副本都是复制的首领分区的内容，而且生产者和消费者操作分区时，必须是首领分区。 如果一个broker失效，而且该broker中有一个或者多个首领分区，那么其余包含这些首领分区副本的broker，会重新选举并接替这个broker中首领分区的领导权。对应...

基础概念 kafka是一个消息队列系统，不同的生产者和消费者，可以向kafka写入自己的数据，实现数据的流动；kafka解耦了生产者和消费者，它的ack机制保证了消息传递的可靠性，借助zookeeper等实现了分布式的消息队列。 生产者可以根据需要向不同的主题写入数据，为了减少累计的网络IO时间，可以把多个消息积累到一个批次中统一发送。 消费者可以组成消费者组的概念，消费者组可以订阅主题，kafk...