Kafka面试题

最新推荐文章于 2025-09-12 20:46:57 发布
最新推荐文章于 2025-09-12 20:46:57 发布
阅读量107 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：https://juejin.im/post/5d01fca2f265da1bb13f2c54
本文探讨Kafka集群的性能调优策略，包括机器数、分区数、副本数的设置，以及生产者ack参数配置。解析日志保存时长、Zookeeper存储数据类型、分配分区策略，并讨论增加消费者对性能的影响，RandRobin策略限制，Kafka监控指标及消息堆积解决方案，确保高可靠性的方法。

谈谈Kafka

Kafka机器数如何估算？

Kafka集群性能如何确定？

Kafka分区数如何设置？

Kafka副本数如何设置？

Kafka生产者的ack参数如何设置？

Kafaka日志默认保存多长时间？

Zookeeper存储了Kafka集群的哪些数据？

Kafka的分配分区策略有哪几种？

Kafka不断增加消费者能提高性能？

RandRobin策略有什么限制？

Kafka如何进行监控？关注哪些指标？

Kafka消息堆积怎么办？如何提高消费能力？

Kafka如何保证可靠性？提示：副本机制、截断机制、acks

扩展：如何设计一个高性能消息中间件？

推荐阅读：《深入理解Kafka:核心设计与实践原理》

转载于:https://juejin.im/post/5d01fca2f265da1bb13f2c54

Kafka分区分配策略其中之一：RoundRobinAssignor
卡萝尔的博客
04-12 1886
之所以写这个文章的原因，因为在看kafka的视频时对RoundRobinAssignor策略产生了疑惑，之后上网看博客发现了两种不同的描述。 第一种（错误，或者说是描述不准确） 文章来源：Kafka架构原理，也就这么回事！ 其中有说到，同一个消费组的消费者c1，c2订阅了不同topic（t1，t2），c1订阅t1，c2订阅t2。c1有可能会消费t2的message，如下图： 第二种（...
kafka面试题
孤独天狼的博客
11-27 1383
答：producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发，为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。答：Kafa consumer消费消息时，向broker发出"fetch"请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息；
9.Kafka 分区分配策略（Range分配策略 && RoundRobin分配策略）
扛麻袋的少年的博客
09-12 1万+
前言 在 Kafka 实际生产过程中，每个 topic 都会有 多个 partitions。 1.多个Partitions有什么好处？ ①多个 partition ，能够对 broker 上的数据进行分片，通过减少消息容量来提升 IO 性能； ②为了提高消费端的消费能力，一般情况下会通过多个 conusmer 去消费 同一个 topic 中的消息，即实现消费端的...
Kafka史上最详细原理总结
热门推荐
我是Alvin家鸡鸭鱼的小米米
08-31 6万+
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
Kafka消费者组三种分区分配策略roundrobin，range，StickyAssignor
陈小哥cw
06-21 3877
一个consumer group中有多个consumer，一个 topic有多个partition，所以必然会涉及到partition的分配问题，即确定那个partition由哪个consumer来消费。 Kafka有两种分配策略，一是roundrobin，一是range。最新还有一个StickyAssignor策略 将分区的所有权从一个消费者移到另一个消费者称为重新平衡（rebalance）。当以下事件发生时，Kafka 将会进行一次分区分配： 同一个 Consumer Group 内新增消费者
Kafka技术知识总结之一——Kafka 的元素，组成，架构
琦小虾的代码世界
07-07 719
一. Kafka 的元素，组成，架构 1.1 Kafka 的基本组成 Kafka将消息以topic为单位进行归纳 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群，集群向消费者提供消息 1.2 Kafka 分区的 HW, LEO 参考地址： 《Kafka中的HW、LEO、LSO等分别代表什么？》
【BAT必备】kafka面试题
09-25
### Kafka面试题实例解析 #### 示例问题1：Kafka如何保证消息的顺序性？ - **答案解析**：Kafka通过将消息发送到同一个Partition来保证消息的顺序性。由于每个Partition只有一个Leader Broker，因此对于特定...
Kafka面试题.pdf
08-04
Kafka的设计是什么样的、数据传输的事物定义有哪三种、Kafka判断一个节点是否还活着有那两个条件、producer是否直接将数据发送到broker的leader(主节点)、Kafaconsumer是否可以消费...还是Push模式等17道Kafka面试题
32道常见的Kafka面试题及答案.pdf
04-25
Kafka 面试题及答案总结 Kafka 是一种基于发布/订阅模式的消息系统，主要应用于大数据处理、实时数据处理和流式处理等场景。下面是 Kafka 的一些重要知识点： 1. Kafka 的特点： * 高吞吐量、低延迟：Kafka 每秒...
Kafka面试问题
weixin_45034355的博客
04-20 409
kafka架构： kafka介绍： 官方：分布式发布/订阅的消息系统 是一个分布式的、支持分区（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，最大特征就是：实时处理大量数据，以满足各种场景，比如： 基于Hadoop的批处理系统，低延迟的实时系统，storm/Spark流式处理引擎，web/nginx日志，访问日志，消息服务等。 k...
全面解析Kafka 核心要素及其常见部署
过往记忆大数据
09-21 634
“ Apache Kafka 被誉为时下热门的企业级消息传递系统，其初衷是一个分布式流系统，用于发布和订阅记录流，以其快速，高可扩展性以及较完美的容错效果备受业内人士青睐。放眼当下数据为...
Kafka Range、RoundRobin、Sticky 三种 分区分配策略区别
LizhiQiang
05-22 8173
Kafka Range RoundRobin 和Sticky 三种 分区分配策略 一、Kafka默认分区分配策略 1、1 consumer 订阅 1 topic ( 7 partition ) 按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。 假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图。 2、2 consumer 订阅 1 topic ( 7 parti
Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor
朱小厮的博客
07-19 1万+
接上文【Kafka分区分配策略（1）——RangeAssignor】 RoundRobinAssignor分配策略 RoundRobinAssignor策略的原理是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序，然后通过轮询方式逐个将分区以此分配给每个消费者。RoundRobinAssignor策略对应的partition.assignment.st...
AI-调查研究-74-具身智能 机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇
永远好奇，无限进步！
09-10 965
具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游
计算机毕设推荐：基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
BYSJLG的博客
09-09 1018
本文介绍了一个基于Hadoop+Spark的物联网网络安全数据分析系统。该系统整合了Hadoop分布式存储和Spark分布式计算，结合Vue前端、Python Django后端以及Echarts可视化技术，构建了一个完整的物联网安全分析平台。系统能够处理15个关键字段的物联网安全数据，通过四个主要分析维度（安全态势评估、攻击类型识别、设备风险评估和性能异常监测）提供全面的网络安全分析。开发环境包括Hadoop、Spark、Hive、Python、Django、Vue等技术栈。文章展示了系统登录界面和管理模块
TDengine 选择函数 TOP() 用户手册
最新发布
TDengine(老段）专注时序数据库领域
09-12 542
其中，TDengine TSDB 是一款高性能、分布式的时序数据库（Time Series Database），同时它还带有内建的缓存、流式计算、数据订阅等系统功能；TDengine IDMP 是一款AI原生工业数据管理平台，它通过树状层次结构建立数据目录，对数据进行标准化、情景化，并通过 AI 提供实时分析、可视化、事件管理与报警等功能。函数返回指定列中最大的 k 个非 NULL 值及其对应的记录。如果多条数据取值相同，且全部取用会超出 k 条限制时，系统会从相同值中随机选取符合要求的数量返回。
还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”
郑龙飞
09-10 722
/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。
内存大（巨）页
fpcc的专栏
09-12 430
文章摘要： 大页（巨页）是比标准4KB页更大的内存页（如2MB或1GB），用于优化内存管理。随着内存容量增长，传统小页导致页表膨胀、TLB命中率下降等问题。大页通过减少页表层级、提升连续内存访问效率，显著提高性能，尤其适用于数据库、大数据处理、高性能计算等场景。但其分配复杂，可能加剧内存碎片。技术发展推动内存管理演进，未来可能出现更优方案。开发者需持续关注前沿技术动态。 （150字）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值