Kafa经典面试问题及答案

原创 于 2025-03-27 16:19:04 发布 · 684 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#面试 #职场和发展

Kafka经典面试问题

基础概念

  1. 什么是Apache Kafka？它的主要用途是什么？

    • Kafka是一个分布式流处理平台，用于构建实时数据管道和流应用程序。主要用途包括消息系统、活动跟踪、日志聚合、流处理等。

  2. Kafka与传统消息队列(如RabbitMQ)有什么区别？

    • Kafka设计用于高吞吐量、持久化、分布式场景，支持多订阅者；RabbitMQ更适合低延迟、复杂路由的场景。

  3. 解释Kafka中的Topic、Partition和Broker概念

    • Topic：消息的类别或主题
    • Partition：Topic的物理分组，一个Topic可以分为多个Partition
    • Broker：Kafka集群中的单个服务器节点

核心机制

  1. Kafka如何保证消息的顺序性？

    • 在Partition级别保证消息的顺序性，同一Partition内的消息是有序的。

  2. 解释Kafka的副本机制(Replication)

    • 每个Partition有多个副本，分为Leader和Follower。Leader处理所有读写请求，Follower从Leader同步数据。

  3. 什么是ISR(In-Sync Replica)？

    • 与Leader保持同步的副本集合，只有ISR中的副本才有资格被选为新的Leader。

  4. Kafka如何实现高吞吐量？

    • 顺序I/O、批量发送、零拷贝技术、分区并行处理等。

生产者相关

  1. Kafka生产者如何保证消息不丢失？

    • 设置acks=all、retries>0、使用同步发送或回调确认。

  2. acks参数有哪些可选值？分别代表什么含义？

    • 0：不等待确认
    • 1：等待Leader确认
    • all(-1)：等待所有ISR副本确认

  3. 什么是幂等生产者(Idempotent Producer)？

    • 确保消息只被精确写入一次，通过生产者ID(PID)和序列号实现。

消费者相关

  1. 解释消费者组(Consumer Group)的概念

    • 一组消费者共同消费一个Topic，每个Partition只能被组内的一个消费者消费。

  2. Kafka如何实现消费者组的Rebalance？

    • 当消费者加入或离开组时，触发重新分配Partition给消费者的过程。

  3. 什么是消费者偏移量(Offset)？Kafka如何管理Offset？

    • Offset表示消费者在Partition中的消费位置，可存储在Kafka(__consumer_offsets)或外部系统。

  4. 解释"至少一次"、"至多一次"和"精确一次"语义的区别

    • 至少一次：消息可能被重复消费
    • 至多一次：消息可能丢失
    • 精确一次：消息恰好被处理一次

运维与调优

  1. 如何选择合适的分区数量？ - 考虑吞吐量需求、消费者数量、未来扩展等因素，通常建议从较少分区开始，按需增加。

  2. Kafka的性能监控指标有哪些？

    • 消息吞吐量、请求延迟、磁盘I/O、网络流量、ISR变化等。

  3. 如何解决Kafka集群中的不平衡问题？

    • 使用kafka-reassign-partitions工具重新分配分区。

  4. 解释Kafka的日志压缩(Log Compaction)

    • 保留每个Key的最新值，适用于需要精确恢复状态的场景。

高级特性

  1. Kafka Streams与普通消费者有什么区别？

    • Kafka Streams是一个流处理库，提供状态管理、窗口操作等高级功能。

  2. 什么是Kafka Connect？

    • 用于Kafka与其他系统间可扩展、可靠的流数据传输的工具。

  3. 解释Kafka的事务机制

    • 允许跨多个Partition的原子性写入，常用于"精确一次"处理语义。

  4. Kafka如何与Zookeeper交互？

    • Kafka使用Zookeeper进行集群协调、领导者选举、配置管理等(Kafka 2.8+开始支持不依赖Zookeeper的模式)。

这些问题涵盖了Kafka的核心概念和实际应用场景，准备这些问题可以帮助你在面试中展示对Kafka的深入理解。

蓝色之鹰
关注
Kafka学习笔记
weixin_30650859的博客
08-27 1792
本文转载来自：https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统,图展示了Kafka的相关术语以及之间的关系 上图一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offs...
消息中间件面试题及答案
weixin_42208959的博客
03-29 5395
文章目录1. RabbitMQ 中的 broker 是指什么？cluster 又是 指什么？2. RabbitMQ 中 RAM node 和 disk node 的区别？3. RabbitMQ 上的一个 queue 中存放的 message 是 否有数量限制？4. RabbitMQ 概念里的 channel、exchange 和 queue 这些东东是逻辑概念，还是对应着进程实体？它们 分别起什么作用？5. RabbitMQ 中 vhost 是什么？起什么作用？6.在单 node 系统和多 node 构成的
kafa简介及基本原理
weixin_44603464的博客
03-11 6011
kafka，ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件，其中kafka在性能及吞吐量方面是三者中的佼佼者，不过最近查阅官网时，官方与它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错持久的方式存储记录流。处理记录发生的流我们说kafka是一个分布式消息系统，(所谓的分布式，就是一个业务分拆多个子业务，部署在不同的服务器上,分布式系统是指通过网络连接的多个组件，通过交换信息协作而形成的系统。)。 消息保存在Top
kafka 入门概念和架构，以及应用场景
weixin_43281498的博客
04-10 3270
一、Kafka 简介 Kafka 是 linkedin 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。 Kafka 对消息保存时根据 Topic 进行归类，发送消息者成为 Producer ，消息接受者成为 Consumer ，此外 kafka 集群有多个 kafka 实例组成，每个实例(server)称为 broker。 无论是 Kafka集群，还是 producer 和 consumer 都依赖于 zookeeper 来保证系统可用性，为集群保存一些 meta 信息。 二、mq 对比
Kafka
sinat_34814635的博客
12-20 1万+
一、基础概念 关键术语 1.主题（topic）：一个 topic 里保存的是同一类消息，相当于对消息的分类，每个 producer 将消息发送到 kafka 中，都需要指明要存的 topic 是哪个，也就是指明这个消息属于哪一类。 2.分区（partition）：每个 topic 都可以分成多个 partition，每个 partition 在存储层面是 append log 文件。任何发布到此 partition 的消息都会被直接追加到 log 文件的尾部。为什么要进行分区呢？最根本的原因就.
Kafka : Kafka入门教程和JAVA客户端使用
热门推荐
shangmingtao的博客
03-15 6万+
目录 目录 Kafka简介 环境介绍 术语介绍 消费模式 下载 集群安装配置 命令使用 JAVA实战 参考文献 Kafka简介 由Scala和Java编写,Kafka是一种高吞吐量的分布式发布订阅消息系统. 环境介绍 操作系统:centos6.5 kafka:1.0.1 zookeeper:3.4.6 术语介绍 Broker : Kafka集群包含一个或...
kafka面试题
孤独天狼的博客
11-27 1256
答：producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发，为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。答：Kafa consumer消费消息时，向broker发出"fetch"请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息；
2021最新阿里Java高级面试题及答案，最新整理
m0_56835488的博客
06-28 873
01 分布式限流：Nginx+ZooKeeper 1.1 分布式限流之Nginx 请解释一下什么是 Nginx? 请列举 x Nginx 的一些特性。 请列举 x Nginx 和 和 Apache 之间的不同点 请解释 x Nginx 如何处理 P HTTP 请求。 在 x Nginx 中，如何使用未定义的服务器名称来阻止处理请求? 使用 “ 反向代理服务器 ” 请列举 x Nginx 服务器的最佳用途。 请解释 x Nginx 服务器上的 r Master 和 和 r Wo
2024年这些高频面试知识点最后再发一次，java高级面试问题大全及答案大全
2301_76278775的博客
03-22 1154
Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。经、学习笔记、源码讲义、实战项目、讲解视频**如果你觉得这些内容对你有帮助，可以扫码领取！
32 道常见的 Kafka 面试题你都会吗？附答案
过往记忆大数据
04-30 2100
最近很多粉丝后台留言问了一些大数据的面试题，其中包括了大量的 Kafka、Spark等相关的问题，所以我特意抽出时间整理了一些大数据相关面试题，本文是 Kafka 面试相关问题，其他系列...
kafka全解
General_zy的博客
02-28 2万+
Kafka传统定义： Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发布给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能的数据管道、流分析、数据集成和关键任务应用。
Kafka 介绍
刘李404not_found的博客
09-26 6737
常见的消息队列有 activemq ，rabbitmq， rocketmq；消息队列常用于 两个系统之间的 数据传递；分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的 消息传递模式： 点对点传递模式、发布- 订阅模式。大部分的消息系统选用发布-订阅模式。kafka 是发布-订阅模式。
Kafka（七）可靠性
yunyun1886358的专栏
01-07 1682
min.insync.replicas(默认值为1)代表了正常写入生产者数据所需要的最少ISR个数, 当ISR中的副本数量小于min.insync.replicas时，Leader停止写入生产者生产的消息，并向生产者抛出NotEnoughReplicas异常，阻塞等待更多的 Follower 赶上并重新进入ISR, 因此能够容忍min.insync.replicas-1个副本同时宕机。通常，我们建议您不要设置此项，并使用复制以提高耐用性，并允许操作系统的后台刷新功能，因为它更高效。
kafka详解
sgs_sgs_sgs的博客
09-23 1万+
kafka的传统定义：kafka是一个分布式的基于发布\订阅模式的消息队列，主要用于大数据实时处理领域kafka的最新概念：kafka是一个开源的分布式事件流平台，（80%的公司都在用），用于高性能数据管道、流分析、数据集成和关键任务应用（1）生产者：向kafka集群发送数据（2）broker：启动的kafka集群（3）消费者：从kafka集群消费数据（4）zookeeper：帮助kafka实现分布式根据业务需求，可以自定义分区器。
Kafa-安装、启动、关闭
dafsq的博客
03-21 186
Kafa-安装、启动、关闭
大数据技术之Kafka——Kafka入门
five小点心的博客
04-20 1万+
传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特点的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）被公司用于高性能数据管道流分析数据集成和关键任务应用。
day08_kafka
wzb1983的博客
02-14 2009
1、消息队列的介绍 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 2、常用的消息队列介绍 1、RabbitMQ RabbitMQ 2007年发布，是一个在AMQP(高级消息队列协议)基础
我以为我对Kafka很了解，直到我看了此文章
weixin_30375427的博客
09-16 234
Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。 现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。 活动数据包括页面访问量(Page View)、...
kafa报错
最新发布
03-15
### Kafka 常见报错及其解决方案 #### 1. **Broker 加入错误集群** 当启动 Kafka 时，如果遇到 `The broker is trying to join the wrong cluster` 的错误提示，通常是因为 ZooKeeper 配置有误。具体来说，可能是 `zookeeper.connect` 参数指向了错误的地址或者端口[^1]。 解决方法如下： - 检查 `config/server.properties` 文件中的 `zookeeper.connect` 是否正确配置为目标 ZooKeeper 地址。 - 如果使用的是分布式部署环境，确认所有 Broker 节点都连接到了同一个 ZooKeeper 实例。 ```bash vi config/server.properties # 修改 zookeeper.connect=host:port/host2:port2... ``` --- #### 2. **Producer 关闭后仍尝试操作** 在 Spark 应用向 Kafka 发送数据的过程中，可能会出现 `"无法在生产者关闭之后执行操作"` 的异常情况。这通常是由于 Kafka Producer 已经被显式或隐式关闭，而后续代码仍然试图调用其方法所致[^2]。 修复方式包括但不限于以下几点： - 确认 `ForeachWriter.close()` 方法仅在必要场景下调用。 - 使用线程安全的方式管理 Kafka Producer 生命周期，在多线程环境下尤其需要注意资源释放顺序。 以下是改进后的伪代码示例： ```scala class CustomKafkaSink(topic: String, kafkaParams: Map[String, Object]) extends ForeachWriter[(String, String)] { var producer: KafkaProducer[String, String] = _ override def open(partitionId: Long, version: Long): Boolean = { producer = new KafkaProducer(kafkaParams) true } override def process(value: (String, String)): Unit = { val record = new ProducerRecord[String, String](topic, value._1, value._2) producer.send(record) } override def close(errorOrNull: Throwable): Unit = { if (producer != null) { producer.flush() producer.close() // 明确控制关闭时机 } } } ``` --- #### 3. **Replication Factor 大于可用 Brokers 数量** 创建 Topic 时报错 `Error while executing topic command : Replication factor: X larger than available brokers: Y.` 表明当前集群中实际运行的 Broker 数不足以支持指定的副本数[^3]。 调整方案可以考虑以下两种途径之一： - 减少复制因子至不超过现有节点数量； - 添加更多 Broker 至集群，并重新分配负载平衡。 命令行工具可用于动态更改设置： ```bash bin/kafka-topics.sh --alter \ --bootstrap-server localhost:9092 \ --partitions 5 \ --replica-factor 1 \ --topic test-topic-name ``` --- #### 4. **日志清理失败** 对于类似于 `Failed to clean up log for __consumer_offsets-XX in dir ... due to IOException` 或者 `FileSystemException` 类型的问题，可能的原因在于目标路径正被其他进程占用，导致删除动作受阻[^4]。 建议采取下列措施排查并解决问题： - 查找是否有未正常退出的服务实例残留锁定了相关文件夹。 - 手动终止冲突的应用程序后再重试服务初始化流程。 - 清理临时交换文件（`.swap`, `.cleaned`），确保磁盘空间充足。 例如强制解锁 Windows 下锁定的句柄可借助第三方工具完成；Linux 则通过 lsof 定位干扰源： ```bash lsof | grep 'D:\kafka_2\.13-3\.7\.0\logs' kill -9 <PID> rm -rf D:\kafka_2\.13-3\.7\.0\logs\*.timeindex.* ``` --- #### 5. **Filebeat 数据传输到 Kafka 报错** 最后一种常见情形涉及 Filebeat 将事件转发给 Kafka 中间件过程中产生的兼容性障碍[^5]。此类问题往往源于版本差异或是网络连通性的缺失。 验证清单应覆盖以下几个方面： - 对照官方文档核实客户端库与服务器端软件间的匹配程度。 - 测试基础通信链路畅通无阻塞现象存在与否。 典型修正脚本片段展示如下： ```yaml output.kafka: bootstrap_servers: "localhost:9092" topic: "%{[@metadata][beat]}-%{[@metadata][version]}" required_acks: 1 compression: gzip max_message_bytes: 1000000 ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值