深入探究Kafka：高吞吐量与低延迟背后的技术原理

已于 2024-12-02 15:31:31 修改
阅读量1.1k 收藏 4
点赞数
分类专栏： # 面试 大数据 文章标签： kafka 分布式
于 2019-07-16 11:35:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/96107816
版权
本文深入探讨了Kafka如何实现高吞吐量和低延迟，涵盖了页缓存技术、零拷贝技术、Broker的NIO异步处理、主从同步策略、分区分布、消费者消费全局有序、offset管理和Rebalance机制等内容，揭示了Kafka在消息中间件领域的高效性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1.kafka 吞吐量高的原因

2.kafka生产数据时的分组策略

3.kafka如何保证数据的生产完成

4.kafka的broker如何保存数据

5.partition如何分布在不同的broker上

6.kafka的分区消费策略

7.如何保证kafka消费者消费数据是全局有序的

8.kafka中segment的命名方式

9.kafka的message物理结构

10.kakka在partition中如何通过offset查找message

11.kafka和其他中间件的消息接收机制

12.kafka的主从同步机制

13.kafka性能调优  

14.kafka怎么保证消息可靠性

15.consumerGroup的组员和partition之间如何做负载均衡

16.kafka的网络设计

17.kafka的offset

18. Kafka Consumer的Reblance机制介绍

19、kafka中的ISR、AR又代表什么？ISR伸缩又是什么？

20、延时任务

21、时间轮机制

22、Kafka 消费者是否可以消费指定分区消息？

23.Kafka消息是采用Pull模式，还是Push模式？

24.Kafka消压缩（ GZIP 或 Snappy）

25.latest和earliest区别

26.说下Kafka的事务消息设计的基本思想

27.kafka的ack机制

1.kafka 吞吐量高的原因

1、页缓存技术 + 磁盘顺序写

操作系统本身有一层缓存，叫做page cache，是在内存里的缓存，我们也可以称之为os cache，意思就是操作系统自己管理的缓存。你在写入磁盘文件的时候，可以直接写入这个os cache里，也就是仅仅写入内存中，接下来由操作系统自己决定什么时候把os cache里的数据真的刷入磁盘文件中接着另外一个就是kafka写数据的时候，非常关键的一点，他是以磁盘顺序写的方式来写的。也就是说，仅仅将数据追加到文件的末尾，不是在文件的随机位置来修改数据。

2、零拷贝技术
在传统的数据传输过程中，数据会从OS Cache复制到应用缓存，然后再从应用缓存复制到Socket缓存，最后由网卡发送

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kafka为什么吞吐量高？
完全体
04-29 838
Kafka的生产者采用的是异步发送消息机制，当发送⼀条消息时，消息并没有发送到Broker⽽是缓存起 来，然后直接向业务返回成功，当缓存的消息达到⼀定数量时再批量发送给Broker。这种做法减少了⽹络io，从⽽提⾼了消息发送的吞吐量，但是如果消息⽣产者宕机，会导致消息丢失，业务出错，所以理 论上kafka利⽤此机制提⾼了性能却降低了可靠性。通过6大核心设计原理，结合底层实现细节和性能对比，揭示Kafka百万级TPS背后的工程智慧。：避免磁头寻道（机械硬盘随机IO比顺序IO慢。：减少网络/磁盘IO次数。
Kafka为什么性能这么快？4大核心原因详解
mikechen的互联网架构
09-20 2037
​ Kafka的性能快这是大厂Java面试经常问的一个话题，下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen ​
kafka 如何做到高吞吐量和性能的？
xljlckjolksl的博客
05-08 834
Kafka 在写入磁盘文件的时候，可以直接写入这个 os cache 里，也就是仅仅写入内存中，接下来由操作系统自己决定什么时候把 os cache 里的数据真的刷入磁盘文件中。，就不需要把 os cache 里的数据拷贝到应用缓存，再从应用缓存拷贝到 Socket 缓存了，两次拷贝都省略了，所以叫做零拷贝。Kafka 从磁盘读数据的时候，会先看看 os cache 内存中是否有，如果有的话，其实读数据都是直接读内存的。另一个主要功能是 kafka 写数据的时候，是以磁盘顺序写的方式来写的。
Kafka高性能之页缓存（page cache）使用
LINBE_blazers的博客
01-10 4645
页缓存是操作系统实现的一种主要的磁盘缓存，以此用来减少对磁盘I/O的操作。具体来说，就是把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问。为了弥补性能上的差异 ，现代操作系统越来越多地将内存作为磁盘缓存，甚至会将所有可用的内存用途磁盘缓存，这样当内存回收时也几乎没有性能损失，所有对于磁盘的读写也将经由统一的缓存。 当一个进程准备读取磁盘上的文件内容时，操作系统会先查看待读取的数据所在的页（page）是否在页缓存（page cache）中，如果存在（命中）则直接返回数据，从而避免了对物理磁盘I/O
Kafka的存储和缓存策略
互联网知识分享
08-14 993
的内存缓存分为两个部分：消息的读缓存和消息的写缓存。写缓存用于缓存待写入磁盘的消息，以提高数据的写入速度。当消息被写入磁盘时，操作系统会将其缓存在内存中，并在需要时进行读取，避免了频繁的磁盘。）功能，将数据直接从磁盘读取到内存中，或者从内存中直接写入磁盘，避免了数据的多次复制，提高了数据传输的效率。会创建一个新的日志段，并将新的消息写入其中。使用内存来作为消息的缓存，通过将消息缓存在内存中，可以实现低延迟的读写操作。较小的日志段大小可以提高消息的写入速度，但会增加磁盘空间的使用。当一个日志段写满后，
Page Cache 与 Kafka 那些事儿
AI天才研究院
03-25 9312
Kafka 整体架构 Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。 Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万。 Kafka为什么速度快、吞吐量大？ Kafka是将消息记录持久化到本地磁盘中的，一般人会认为磁盘读写性能差，可能会对Kafka性能如何保证提...
深入理解kafka(核心设计与实践原理) pdf
06-26
《深入理解kafka(核心设计与实践原理) pdf》是一本介绍了Kafka技术原理、实现和部署的全面指南。它从多个角度阐述了Kafka的核心设计思想和实践原理，让读者可以更深入地理解Kafka的工作机制和应用场景。 本书首先...
Kafka与大数据生态系统集成技术探究
其主要作用是提供高吞吐量的数据汇总、存储和传输服务。Kafka基于发布/订阅模式，通过Topic（主题）将消息发布到多个订阅者，实现了解耦和高效数据传输。 Kafka的核心原理包括消息持久化、分布式架构和水平扩展等。...
Kafka的高性能设计
许诗宇的博客
10-24 965
注意：本文参考。
【大数据开源技术栈面试深入理解】：开源工具与框架，构建你的技术自信
[【大数据开源技术栈面试深入理解】：开源工具与框架，构建你的技术自信](https://img-blog.csdnimg.cn/20200123094122342.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9...
kafka18-PageCache高效写以及mmap调用原理
最新发布
m0_63833709的博客
07-09 1166
PageCache（页缓存）是Linux操作系统中一种用来缓存文件系统数据的机制。它的主要作用是在内存中缓存从硬盘文件读取的数据，以提高文件访问速度和系统性能。整个过程通过使用 MMAMP 技术和操作系统的高效刷盘机制，使得 Kafka 在处理大量数据时能够实现高性能和低延迟的数据写入和持久化存储。
Kafka 精妙的高性能设计（下篇）
Java搜索工程技术栈
03-05 409
在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。同时给出了Kafka高性能设计的全景图，可以理解成「术」。 图 1：Kafka 高性能设计的全景图 这篇文章将继续对存储消息和消费消息的8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。 1. 存储消息的性能优化手段 存储消息属于 Broker 端的核心功能，下面是它所采用的 4 条优化手段。 1、IO 多路复用 对于 Kafka Broker 来说，要做到高性能，首先要考虑的是...
【Kafka】Kafka为什么快？
Just Do IT
04-18 888
Kafka之所以快的原因有三个：顺序读写、页缓存、零拷贝。
Kafka - 之kafka为什么这么快(页缓存、零拷贝、顺序写磁盘)！
shufangreal的博客
07-19 1788
Kafka - 之kafka为什么这么快(页缓存、零拷贝、顺序写磁盘)！ kafka为什么这么快，主要是得益于以下几点 页缓存(读) 零拷贝(读写) 顺序写磁盘(写) 用户应用与磁盘之间文件之间的读写可以大致分为以下几层分工 ############################### 用户层(服务端应用) 用户态缓存 ############################### 内核层(操作系统内核) 页缓存 socket缓存 ##############################
kafka 笔记七 kafka磁盘存储
文报的博客
08-26 1466
1 零拷贝 kafka高性能，是多方面协同的结果，包括宏观架构、分布式partition存储、ISR数据同步、以及“无所不用其极”的高效利用磁盘/操作系统特性。 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。通常是说在IO读写过程中。 传统IO 比如：读取文件，socket发送 传统方式实现：先读取、再发送，实际经过1~4四次copy。 1、第一次：将磁盘文件，读取到操作系统内核缓冲区； 2、第二次：将内核缓冲区的数据，copy到application应用程序的buffer； 3、
Kafka高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解
大数据学习与分享的博客
06-14 858
大家都知道Kafka是将数据存储于磁盘的，而磁盘读写性能往往很差，但Kafka官方测试其数据读写速率能达到600M/s，那么为什么Kafka性能会这么高呢？ 首先producer往broker发送消息时，采用batch的方式即批量而非一条一条的发送，这种方式可以有效降低网络IO的请求次数，提升性能。此外这些批次消息会"暂存"在缓冲池中，避免频繁的GC问题。批量发送的消息可以进行压缩并且传输的时候可以进行高效的序列化，从而减少数据大小。 Kafka除了在producer发送消息方面做了很多优化，还有很多其他的
Kafka为什么高吞吐量
Mamba Out
07-19 7234
1、顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能，顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写。 2、零拷贝 Kafka高吞吐量的原因其中有个重要技术就是Zero-Copy(零拷贝)系统调用机制 传统的文件拷贝 由于应用程序无法直接读取内核空间的数据，如果要读取这些数据，那么必须把数据从读取缓冲区拷贝到应用程序缓冲区 用户态把数据拷贝到核心态Socket Buffer，然后发送到网卡 DMA(Di.
老司机生产实践经验：线上系统的JVM内存是越大越好吗？【石杉的架构笔记】...
weixin_34056162的博客
03-21 638
“ 这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM堆内存大小是越大越好吗？先说明白一个前提，本文主要讨论的是Kafka和Elasticsearch两种分布式系统的线上部署情况，不是普通的Java应用系统。1、是否依赖Java系统自身内存处理数据？先说明一点，不管是我们自己开发的Java应用系统，还是一些中间件系统，在实现的时候都需要选择是否基于自己Java进程的内存来处理数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值