Kafka 如何兼顾一致性和读写效率

本文深入探讨 Kafka 的一致性与读写效率。介绍了进程职责、Partition 副本数据的一致性保证,包括 ISR、LEO 和 HW 的作用。Kafka 通过顺序读写、Sendfile 零拷贝和 pageCache 机制实现高效读写。同时,讨论了如何在可用性和一致性之间做出平衡,以及数据可靠性和持久性的配置选项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

完成了 HBase 的相关内容的梳理,我们把目光转到同样在流数据处理领域应用非常广泛的分布式组件 Kafka,作为一个消息队列,它与分布式数据库 HBase 不同,它的主要功能不是数据的存储,而是在各个系统之间起一个缓冲的作用,言简意赅又不失准确地总结一下就是解系统耦合流量削峰。本篇按照大数据组件学习的方法,从基础讲起,逐层递进,深入底层,掌握原理,助力面试。

本篇面试内容划重点:一致性与可用性、ISR、存储结构、快的原因。 **

进程的职责与交互逻辑?

image.png

按照惯例,我们举个有意思的例子,Kafka 的数据是以日志的形式顺序存储的,所以整个 Kafka 集群看起来就像是图书馆,这家图书馆有多家分店(Broker),图书馆管理员(producer)同一本书会买三本(replica)分发到各分店里,这样能保证一家店的书损坏了顾客可以去另一家店继续看书,另外图书馆还有一个图书检索网站(Zookeeper)记录了图书的信息和顾客的信息(元数据)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老蒙大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值