
Kafka
黄山路443号
这个作者很懒,什么都没留下…
展开
-
Kafka:整理的一些面试题
1. Kafka 中的 ISR(InSyncRepli)、 OSR(OutSyncRepli)、 AR(AllRepli)代表什么?ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本ISR是由leader维护,follower从leader同步数据有一些延迟(包括延迟时间replica.lag.time.max.ms和延迟条数replic...原创 2020-04-06 17:13:11 · 1805 阅读 · 0 评论 -
Kafka消费者:分区分配策略,协调器,offset
目录1. 消费方式 Push vs Pull 2. 分区分配策略3. 协调器4. offset的维护5. 独立的消费者1. 消费方式 Push vs Pull 作为一个消息系统,Kafka遵循了传统的方式,选择由Producer向broker push消息并由Consumer从broker pull消息。一些logging-centric system,比如F...原创 2020-04-06 17:08:38 · 1296 阅读 · 0 评论 -
Kafka生产者:数据可靠性策略与幂等性
目录1. Kafka生产者发送消息的过程2. 分区策略3. 数据可靠性保证1. Kafka生产者发送消息的过程 Kafka 会将发送消息包装为 ProducerRecord 对象, ProducerRecord 对象包含了目标主题和要发送的内容,同时还可以指定键和分区。在发送 ProducerRecord 对象前,生产者会先把键和值对象序列化成字节数组,这样它们才能够在...原创 2020-04-06 17:07:29 · 799 阅读 · 0 评论 -
Kafka的特点和他的存储机制
一、Kafka和消息队列的特点1. kafka定义Kafka是一个基于发布订阅模式的分布式消息队列,它具有以下特点:支持消息的发布和订阅,类似于 RabbtMQ、ActiveMQ 等消息队列;支持数据实时处理;能保证消息的可靠性投递;支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错;高吞吐率,单 Broker 可以轻松处理数千个分区以及每秒百万级的消息量。2....原创 2020-04-05 15:30:59 · 2982 阅读 · 0 评论