Kafka大厂高频面试题:在保证高性能、高吞吐的同时保证高可用性

大厂消息中间件高频面试题与知识点整理(RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ) 互联网高频面试之消息中间件基本问题和知识点整理分析 阅读详情

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时,一旦这条消息被commit,由于副本机制(replication)的存在,它就不会丢失。但是如果producer发送数据给broker后,遇到的网络问题而造成通信中断,那producer就无法判断该条消息是否已经提交(commit)。虽然Kafka无法确定网络故障期间发生了什么,但是producer可以retry多次,确保消息已经正确传输到broker中,所以目前Kafka实现的是at least once。

一、幂等性

1.场景

所谓幂等性,就是对接口的多次调用所产生的结果和调用一次是一致的。生产者在进行重试的时候有可能会重复写入消息,而使用Kafka的幂等性功能就可以避免这种情况。

幂等性是有条件的:

  • 只能保证 Producer 在单个会话内不丢不重,如果 Producer 出现意外挂掉再重启是无法保证的(幂等性情况下,是无法获取之前的状态信息,因此是无法做到跨会话级别的不丢不重);
  • 幂等性不能跨多个 Topic-Partition,只能保证单个 partition 内的幂等性,当涉及多个Topic-Partition 时,这中间的状态并没有同步。

Producer 使用幂等性的示例非常简单,与正常情况下 Producer 使用相比变化不大,只需要把Producer 的配置 enable.idempotence 设置为 true 即可,如下所示:

Properties props = new Properties(); 
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true"); 
props.put("acks", "all"); // 当 enable.idempotence 为 true,这里默认为 all 
props.put("bootstrap.servers", "localhost:9092"); 
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 

KafkaProducer producer = new KafkaProducer(props); 

producer.send(new ProducerRecord(topic, "test");

二、事务

1.场景

幂等性并不能跨多个分区运作,而事务可以弥补这个缺憾,事务可以保证对多个分区写入操作的原子性。操作的原子性是指多个操作要么全部成功,要么全部失败,不存在部分成功部分失败的可能。

为了实现事务,应用程序必须提供唯一的transactionalId,这个参数通过客户端程序来进行设定。

见代码库:
com.heima.kafka.chapter7.ProducerTransactionSend

properties.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, transactionId);

2.前期准备

事务要求生产者开启幂等性特性,因此通过将transactional.id参数设置为非空从而开启事务特性的同时需要将
ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG设置为true(默认值为true),如果显示设置为false,则会抛出异常。

KafkaProducer提供了5个与事务相关的方法,详细如下:

//初始化事务,前提是配置了transactionalId 
public void initTransactions() 
//开启事务 
public void beginTransaction() 
//为消费者提供事务内的位移提交操作 
public void sendOffsetsToTransaction(Map<TopicPartition, OffsetAndMetadata> offsets, String consumerGroupId) 
//提交事务 
public void commitTransaction() 
//终止事务,类似于回滚 
public void abortTransaction()

3.案例解析

见代码库:
com.heima.kafka.chapter7.ProducerTransactionSend

消息发送端

/**
    * Kafka Producer事务的使用 
    */ 
public class ProducerTransactionSend { 
    public static final String topic = "topic-transaction"; 
    public static final String brokerList = "localhost:9092"; 
    public static final String transactionId = "transactionId"; 
    
    public static void main(String[] args) { 
        Properties properties = new Properties(); 
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); 
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); 
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokerList); 
        properties.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, transactionId); 
        
        KafkaProducer<String, String> producer = new KafkaProducer<> (properties); 
        
        producer.initTransactions(); 
        producer.beginTransaction(); 
        
        try {
            //处理业务逻辑并创建ProducerRecord 
            ProducerRecord<String, String> record1 = new ProducerRecord<>(topic, "msg1"); 
            producer.send(record1); 
            ProducerRecord<String, String> record2 = new ProducerRecord<>(topic, "msg2"); 
            producer.send(record2); 
            ProducerRecord<String, String> record3 = new ProducerRecord<>(topic, "msg3"); 
            producer.send(record3); 
            //处理一些其它逻辑 
            producer.commitTransaction(); 
        } catch (ProducerFencedException e) { 
            producer.abortTransaction(); 
        }
        producer.close(); 
    } 
}

模拟事务回滚案例

try { 
    //处理业务逻辑并创建ProducerRecord 
    ProducerRecord<String, String> record1 = new ProducerRecord<>(topic, "msg1"); 
    producer.send(record1); 
    
    //模拟事务回滚案例 
    System.out.println(1/0); 
    
    ProducerRecord<String, String> record2 = new ProducerRecord<>(topic, "msg2"); 
    producer.send(record2); 
    ProducerRecord<String, String> record3 = new ProducerRecord<>(topic, "msg3"); 
    producer.send(record3); 
    //处理一些其它逻辑 
    producer.commitTransaction(); 
} catch (ProducerFencedException e) { 
    producer.abortTransaction(); 
}

从上面案例中,msg1发送成功之后,出现了异常事务进行了回滚,则msg1消费端也收不到消息。

三、控制器

在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用kafka-topics.sh脚本为某个topic增加分区数量时,同样还是由控制器负责分区的重新分配。

Kafka中的控制器选举的工作依赖于Zookeeper,成功竞选为控制器的broker会在Zookeeper中创建/controller这个临时(EPHEMERAL)节点,此临时节点的内容参考如下:

1.ZooInspector管理

  • 使用zookeeper图形化的客户端工具(ZooInspector)提供的jar来进行管理,启动如下:
  1. 定位到jar所在目录
  2. 运行jar文件 java -jar zookeeper-dev-ZooInspector.jar
  3. 连接Zookeeper

{"version":1,"brokerid":0,"timestamp":"1529210278988"}


其中version在目前版本中固定为1,brokerid表示称为控制器的broker的id编号,timestamp表示竞选称为控制器时的时间戳。

在任意时刻,集群中有且仅有一个控制器。每个broker启动的时候会去尝试去读取/controller节点的brokerid的值,如果读取到brokerid的值不为-1,则表示已经有其它broker节点成功竞选为控制器,所以当前broker就会放弃竞选;如果Zookeeper中不存在/controller这个节点,或者这个节点中的数据异常,那么就会尝试去创建/controller这个节点,当前broker去创建节点的时候,也有可能其他broker同时去尝试创建这个节点,只有创建成功的那个broker才会成为控制器,而创建失败的broker则表示竞选失败。每个broker都会在内存中保存当前控制器的brokerid值,这个值可以标识为activeControllerId。

Zookeeper中还有一个与控制器有关的/controller_epoch节点,这个节点是持久(PERSISTENT)节点,节点中存放的是一个整型的controller_epoch值。controller_epoch用于记录控制器发生变更的次数,即记录当前的控制器是第几代控制器,我们也可以称之为“控制器的纪元”。


controller_epoch的初始值为1,即集群中第一个控制器的纪元为1,当控制器发生变更时,没选出一个新的控制器就将该字段值加1。每个和控制器交互的请求都会携带上controller_epoch这个字段,如果请求的controller_epoch值小于内存中的controller_epoch值,则认为这个请求是向已经过期的控制器所发送的请求,那么这个请求会被认定为无效的请求。如果请求的controller_epoch值大于内存中的controller_epoch值,那么则说明已经有新的控制器当选了。由此可见,Kafka通过controller_epoch来保证控制器的唯一性,进而保证相关操作的一致性。

具备控制器身份的broker需要比其他普通的broker多一份职责,具体细节如下:

  1. 监听partition相关的变化。
  2. 监听topic相关的变化。
  3. 监听broker相关的变化。
  4. 从Zookeeper中读取获取当前所有与topic、partition以及broker有关的信息并进行相应的管理。

四、可靠性保证

  1. 可靠性保证:确保系统在各种不同的环境下能够发生一致的行为
  2. Kafka的保证
  3. 保证分区消息的顺序如果使用同一个生产者往同一个分区写入消息,而且消息B在消息A之后写入那么Kafka可以保证消息B的偏移量比消息A的偏移量大,而且消费者会先读取消息A再读取消息B
  4. 只有当消息被写入分区的所有同步副本时(文件系统缓存),它才被认为是已提交
  5. 生产者可以选择接收不同类型的确认,控制参数 acks
  6. 只要还有一个副本是活跃的,那么已提交的消息就不会丢失
  7. 消费者只能读取已经提交的消息

1. 失效副本

怎么样判定一个分区是否有副本是处于同步失效状态的呢?从Kafka 0.9.x版本开始通过唯一的一个参数replica.lag.time.max.ms(默认大小为10,000)来控制,当ISR中的一个follower副本滞后leader副本的时间超过参数replica.lag.time.max.ms指定的值时即判定为副本失效,需要将此follower副本剔出除ISR之外。具体实现原理很简单,当follower副本将leader副本的LEO(Log End Offset,每个分区最后一条消息的位置)之前的日志全部同步时,则认为该follower副本已经追赶上leader副本,此时更新该副本的lastCaughtUpTimeMs标识。Kafka的副本管理器(ReplicaManager)启动时会启动一个副本过期检测的定时任务,而这个定时任务会定时检查当前时间与副本的lastCaughtUpTimeMs差值是否大于参数replica.lag.time.max.ms指定的值。千万不要错误地认为follower副本只要拉取leader副本的数据就会更新lastCaughtUpTimeMs,试想当leader副本的消息流入速度大于follower副本的拉取速度时,follower副本一直不断的拉取leader副本的消息也不能与leader副本同步,如果还将此follower副本置于ISR中,那么当leader副本失效,而选取此follower副本为新的leader副本,那么就会有严重的消息丢失。

2.副本复制

Kafka 中的每个主题分区都被复制了 n 次,其中的 n 是主题的复制因子(replication factor)。这允许Kafka 在集群服务器发生故障时自动切换到这些副本,以便在出现故障时消息仍然可用。Kafka 的复制是以分区为粒度的,分区的预写日志被复制到 n 个服务器。 在 n 个副本中,一个副本作为 leader,其他副本成为 followers。顾名思义,producer 只能往 leader 分区上写数据(读也只能从 leader 分区上进行),followers 只按顺序从 leader 上复制日志。

一个副本可以不同步Leader有如下几个原因 慢副本:在一定周期时间内follower不能追赶上leader。最常见的原因之一是I / O瓶颈导致follower追加复制消息速度慢于从leader拉取速度。 卡住副本:在一定周期时间内follower停止从leader拉取请求。follower replica卡住了是由于GC暂停或follower失效或死亡。

新启动副本:当用户给主题增加副本因子时,新的follower不在同步副本列表中,直到他们完全赶上了leader日志。

如何确定副本是滞后的

replica.lag.max.messages=4


在服务端现在只有一个参数需要配置replica.lag.time.max.ms。这个参数解释replicas响应partition leader的最长等待时间。检测卡住或失败副本的探测——如果一个replica失败导致发送拉取请求时间间隔超过replica.lag.time.max.ms。Kafka会认为此replica已经死亡会从同步副本列表从移除。检测慢副本机制发生了变化——如果一个replica开始落后leader超过replica.lag.time.max.ms。Kafka会认为太缓慢并且会从同步副本列表中移除。除非replica请求leader时间间隔大于replica.lag.time.max.ms,因此即使leader使流量激增和大批量写消息。Kafka也不会从同步副本列表从移除该副本。

1.Leader Epoch引用

数据丢失场景

数据出现不一致场景

2.Kafka 0.11.0.0.版本解决方案

造成上述两个问题的根本原因在于HW值被用于衡量副本备份的成功与否以及在出现failture时作为日志截断的依据,但HW值得更新是异步延迟的,特别是需要额外的FETCH请求处理流程才能更新,故这中间发生的任何崩溃都可能导致HW值的过期。鉴于这些原因,Kafka 0.11引入了leader epoch来取代HW值。Leader端多开辟一段内存区域专门保存leader的epoch信息,这样即使出现上面的两个场景也能很好地规避这些问题。

所谓leader epoch实际上是一对值:(epoch,offset)。epoch表示leader的版本号,从0开始,当leader变更过1次时epoch就会+1,而offset则对应于该epoch版本的leader写入第一条消息的位移。因此假设有两对值:

  1. (0, 0)
  2. (1, 120)

则表示第一个leader从位移0开始写入消息;共写了120条[0, 119];而第二个leader版本号是1,从位移120处开始写入消息。

leader broker中会保存这样的一个缓存,并定期地写入到一个checkpoint文件中。

避免数据丢失:

避免数据不一致

六、消息重复的场景及解决方案

1.生产者端重复

生产发送的消息没有收到正确的broke响应,导致producer重试。

producer发出一条消息,broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断,然后producer收到一个可恢复的Exception重试消息导致消息重复。

解决方案:

  1. 启动kafka的幂等性

要启动kafka的幂等性,无需修改代码,默认为关闭,需要修改配置文件:enable.idempotence=true 同时要求 ack=all 且 retries>1。

  1. ack=0,不重试。

可能会丢消息,适用于吞吐量指标重要性高于数据丢失,例如:日志收集。

2.消费者端重复

  1. 根本原因

数据消费完没有及时提交offset到broker。

解决方案

  1. 取消自动自动提交

每次消费完或者程序退出时手动提交。这可能也没法保证一条重复。

  1. 下游做幂等

一般的解决方案是让下游做幂等或者尽量每消费一条消息都记录offset,对于少数严格的场景可能需要把offset或唯一ID,例如订单ID和下游状态更新放在同一个数据库里面做事务来保证精确的一次更新或者在下游数据表里面同时记录消费offset,然后更新下游数据的时候用消费位点做乐观锁拒绝掉旧位点的数据更新。

七、__consumer_offsets

_consumer_offsets是一个内部topic,对用户而言是透明的,除了它的数据文件以及偶尔在日志中出现这两点之外,用户一般是感觉不到这个topic的。不过我们的确知道它保存的是Kafka新版本consumer的位移信息。

1.何时创建

一般情况下,当集群中第一有消费者消费消息时会自动创建主题__consumer_offsets,分区数可以通过
offsets.topic.num.partitions参数设定,默认值为50,如下

2.解析分区

见代码库:
com.heima.kafka.chapter7.ConsumerOffsetsAnalysis

获取所有分区

总结

本章主要讲解了Kafka相关稳定性的操作,包括幂等性、事务的处理,同时对可靠性保证与一致性保证做了讲解,讲解了消息重复以及解决方案。

需要更多的kafka资料可以私聊我哦 免费分享给大家!

汽车底盘技术解析:从悬架调校到智能化,如何评价国产车底盘实力 汽车底盘作为决定车辆驾驶质感、安全性和耐久性的核心系统,其技术内涵远不止于悬架结构。从行驶系、转向系到制动系的协同工作,底盘调校是一门融合机械原理与工程实践的艺术。在电动化与智能化浪潮下,底盘技术正经历从被动适应到主动响应的变革,CDC可变阻尼减震器和空气悬架等技术的应用,让底盘具备了通过OTA升级实现性能优化的可能。国产汽车品牌如奇瑞、吉利等,通过平台化架构研发与调校经验积累,正推动底盘技术从“能用”向“好用”乃至“塑造独特驾驶风格”迈进。理解底盘技术,需超越简单的结构对比,关注其在实际路况中的滤震性、支 阅读详情

相关推荐

【UE5】多用户协同编辑实战:从配置到实时协作

本文详细介绍了在虚幻引擎5中配置和使用多用户协同编辑功能的完整流程。从启用Multi-User Editing插件、配置UDP Messaging网络通信,到启动服务器、创建会话并实现实时协作,提供了从环境准备到实战协作的清晰指南。文章还分享了资产同步、场景分批、对象锁定等实用技巧,并强调了网络配置与版本一致性等关键避坑点,旨在帮助中小型团队提升关卡设计和原型开发的协作效率。

weixin_29001683的博客 269

kafka之二----Controllr控制器组件

每个和控制器交互的请求都会携带上controller_epoch这个字段,如果请求的controller_epoch值小于内存中的controller_epoch值,那么这个请求会被认定为无效的请求。于是新leader开始接收clients端请求,而同时老leader所在的broker由于出现了数据类请求的积压使得它一直忙于处理这些请求而无法处理controller发来的LeaderAndIsrRequest请求,集群中就会出现两个Controller。

枫火的博客 855

避坑指南:DeepSeek Function calling流式输出中的常见问题与解决方案

本文深入探讨了在DeepSeek Function Calling中实现流式输出时常见的参数拼接、函数依赖管理和错误处理等核心挑战。针对流式响应中参数碎片化的问题,提供了健壮的参数拼接方案与状态管理策略。同时,文章详细阐述了如何管理函数调用顺序、处理条件性执行,并构建了分阶段的错误处理与重试机制,旨在帮助开发者构建稳定、高效的流式AI应用。

weixin_29062671的博客 204

kafka系列之Controller(13)

Controller 控制器组件(Controller)是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群,例如分区领导者副本的选举。 集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的职责。换句话说,每个正常运转的 Kafka 集群,在任意时刻都有且只有一个控制器。 对ZK的依赖 Kafka 控制器大量使用 Watch 功能实现对集群的协调管理

6万+

java 对接工行聚富通H5聚合支付接口

java 对接工行聚富通H5聚合支付接口

lgl的博客 862

逆向工程实战:如何用Frida和IDA破解AppleAccount的X-MMe-Nas-Qualify签名机制

本文通过逆向工程实战,详细解析了如何利用Frida动态Hook和IDA静态分析技术,破解AppleAccount服务中关键的X-MMe-Nas-Qualify签名机制。文章从环境搭建、动态追踪NSMutableURLRequest的签名注入点开始,逐步深入到AuthKit框架的静态剖析与算法还原,最终实现独立的签名生成,为安全研究和自动化测试提供了完整的技术路径。

bush的博客 697

面试官:Kafka在保证高性能、高吞吐的同时如何保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时,一旦这条消息被commit,由于副本机制(replication)的存在,它就不会丢失。但是如果producer发送数据给broker后,遇到的网络问题而造成通信中断,那producer就无法判断该条消息是否已经提交(commit)。虽然Kafka无法确定网络故障期间发生了什么,但是producer可以retry多次,确保消息已经正确传输到broker中,所以目前Kafka实现的是at least once。 一、幂等性

Java圈全能架构师的博客 488

实战!用Python爬取海关总署进出口贸易数据 —— 从反爬突破到数据可视化全流程指南

{"period": "2026-05", "country": "美国", "import_val": 123.4, "export_val": 567.8, ...}研究员可构建领先指标模型;fig = px.bar(top, x="country", y="total_usd", title="贸易总额TOP10")html.H1("海关进出口数据看板", style={"textAlign": "center"}),"""发起带签名的POST请求(实际为GET + query param)"""

2201_76125261的博客 594

kafka-稳定性-事务

稳定性 事务 一、事务场景 如producer发的多条消息组成一个事务这些消息需要对consumer同时可见或者同时不可见 。 producer可能会给多个topic,多个partition发消息,这些消息也需要能放在一个事务里面,这就形成了一个典型的分布式事务。 kafka的应用场景经常是应用先消费一个topic,然后做处理再发到另一个topic,这个consume-transform-produce过程需要放到一个事务里面,比如在消息处理或者发送的过程中如果失败了,消费偏移量也不能提交。 produc

小城我家 964

用 ADT 的 RAP Generator 把 RAP 栈一键搭起来:从表到可预览的 OData V4 应用

摘要 SAP RAP Generator 工具能显著提升开发效率,通过一键生成从数据库表到完整 OData UI Service 的全套对象(包括 CDS、Behavior、Service Definition 等)。该工具特别适用于原型验证和标准化应用开发,可节省 60% 以上的基础编码时间。使用时需注意: 表设计需包含关键管理字段(如 last_changed 时间戳) 向导配置决定分层架构和命名规范 生成结果包含可立即预览的 Fiori Elements 界面 后续可专注于业务逻辑增强(校验、权限等)

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1282

QT应用编程: 编写低功耗BLE蓝牙调试助手(Android系统APP)

一、环境介绍 QT版本: 5.12.6 编译环境: win10 64位 目标系统: Android 完整工程源码下载地址(包含APK文件):https://download.youkuaiyun.com/download/xiaolong1126626497/19051696 二、功能介绍 本软件是一款BLE蓝牙串口调试助手,支持常规的发送和接收调试,BLE是低功耗类型蓝牙,在智能家居、物联网领域使用较多。BLE低功耗蓝牙一般不能直接使用手机进行连接,手机蓝牙默认都是工作在传统蓝牙模式,无法直接连接BL..

7663

Kafka技术知识总结之二——Kafka事务

接上篇《Kafka技术知识总结之一——Kafka 的元素,组成,架构》 二. Kafka 事务 参考地址: 《【干货】Kafka 事务特性分析》 2.1 Kafka 事务简述 Kafka 事务与数据库的事务定义基本类似,主要是一个原子性:多个操作要么全部成功,要么全部失败。Kafka 中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理。 为了实现事务,Producer 应用程序必须做到: 提供唯一的 transactionalId properties.put(Produ.

琦小虾的代码世界 1522

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Java面试-Kafka 高吞吐量原理:分区、副本、ISR

《Kafka高吞吐量原理深度解析》摘要:本文系统讲解了Kafka实现高吞吐量的核心机制,包括分区(Partition)实现水平扩展、副本(Replica)保障高可用、ISR机制确保数据一致性三大mortar架构。深入剖析四大底层优化原理:磁盘顺序写入实现高效Spark写、零q_copy减少CPU拷贝开销、批量发送与数据压缩提升网络效率、ISR选举保证高可用。️同时提供生产环境调优策略 Cast、常见iak误区分析及典型故障模拟,并附25道高频面试题。通过12+架构图解和8+故障沙盘推演,全面揭开Kafka百

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

【大数据】Kafka高频面试题(一)_kafka能接收到的最大消息是多少(4)

首先我们来看看什么是「消费者组」:消费者组 Consumer Group,顾名思义就是由多个 Consumer 组成,且拥有一个公共且唯一的 Group ID。组内每个消费者负责消费不同分区的数据,**但一个分区只能由一个组内消费者消费,**消费者组之间互不影响。为什么 Kafka 要设计 Consumer Group, 只有 Consumer 不可以吗?

2401_84182271的博客 327

Kafka高频面试题(面试背诵版)

集群 Broker → 业务 Topic → 物理 Partition → 多副本 Replica → 动态同步集 ISR/OSR一台集群多台 Broker 承载多个 Topic;一个 Topic 拆分多个 Partition;一个 Partition 多 Replica 副本冗余;所有副本动态划分 ISR(同步)、OSR(滞后),最终实现 Kafka 高吞吐+高可用+高可靠。核心定义:Kafka事务机制专属偏移量,代表分区内所有事务状态完全确定的最大偏移量。解决痛点。

专注 Java 后端开发,分享基础语法、JVM、并发、Spring 全家桶、微服务、分布式、性能优化等实战干货。坚持输出高质量技术笔记,用简单语言讲清复杂原理,助力每一位 Java 开发者稳步进阶。 472

华为全网首发的 Kafka 技术手册,从基础到实战一应俱全,超详细

面试前一定少不了刷题,为了方便大家复习,我分享一波个人整理的面试大全宝典Java核心知识整理Java核心知识Spring全家桶(实战系列)其他电子书资料Step3:刷题既然是要面试,那么就少不了刷题,实际上春节回家后,哪儿也去不了,我自己是刷了不少面试题的,所以在面试过程中才能够做到心中有数,基本上会清楚面试过程中会问到哪些知识点,高频题又有哪些,所以刷题是面试前期准备过程中非常重要的一点。以下是我私藏的面试题库:《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》

2401_83916204的博客 1030

Java大厂面试实录:互联网医疗场景下的Spring Boot + Kafka + Redis高频考点全解析

维度 | 考察点 || 基础能力 | Java语法、Spring Boot用法 || 架构思维 | 分布式ID、异步解耦、缓存设计 || 技术选型 | Kafka/RabbitMQ/Redis结构对比 || 业务理解 | 医疗场景的数据特点与性能要求 || 深度追问 | 能否应对“如果……怎么办?” |

m0_55932107的博客 702

Java大厂面试核心:Spring Boot与Kafka深度解析

微服务架构和消息队列是现代分布式系统的核心技术支柱。Spring Boot通过自动配置机制和starter依赖简化了微服务开发,其核心原理包括条件注解、spring.factories文件加载等机制。Kafka则凭借其高吞吐、低延迟的特性成为消息队列的首选,其设计哲学包含顺序I/O、分区消费等关键技术。在互联网大厂的技术面试中,这两项技术的原理理解、实战应用和问题排查能力是重要考察维度。掌握Spring Boot自动配置实现和Kafka高可用设计,不仅能应对技术面试,更能提升分布式系统开发能力。本文结合阿里

weixin_29722783的博客 298

互联网大厂Java求职面试实战:Spring Boot、微服务与AI技术全解析

在互联网大厂的Java求职面试中,技术面试官通常会从基础语言到复杂业务场景逐步深入,考察候选人的技术深度和业务理解能力。本文通过一段严肃面试官与搞笑水货程序员谢飞机的对话,展开关于Java核心技术、Spring Boot框架、微服务、云原生以及AI技术的问答,帮助小白读者系统学习。

weixin_46755643的博客 536

大厂面试必备:Spring Security+Kafka+Redis构建安全风控系统

安全风控系统是现代分布式架构中的核心组件,通过认证授权、实时数据处理和高性能缓存三大技术支柱保障业务安全。Spring Security提供完善的认证体系与动态权限控制,Kafka实现事件驱动的实时风险检测,Redis则支撑高并发场景下的限流与缓存。这种技术组合能有效解决风险识别的实时性、准确性和系统高性能需求,广泛应用于金融支付、电商防刷等场景。本文通过大厂面试真题解析,深入讲解如何基于Spring Security的多因素认证、Kafka的精确一次语义和Redis的布隆过滤器等热词技术,构建千万级用户的

weixin_30698297的博客 294
上一篇: 超详细:这份全网首发的Kafka技术手册,从基础到实战一应俱全
下一篇: 面试被问公平锁和非公平锁,我竟用“排队打饭”解释得清清楚楚
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值