kafka 的 mmap文件读写方式

最新推荐文章于 2025-10-08 09:51:51 发布
转载 最新推荐文章于 2025-10-08 09:51:51 发布 · 586 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/daijiguo/article/details/104871390

Kafka吞吐量高的一个重要原因是consumer读取日志文件时采用mmap方式。mmap在读取log文件时，直接将文件读入用户态缓存，绕过内核态的page cache，避免了内核态和用户态的切换，从而有效提高了Kafka的吞吐量。

众所周知，kafka之所以吞吐量高，其中的一个重要原因就是因为其consumer在读取日志文件时使用了mmap的方式，mmap与常规文件读写的区别如下：

在这里插入图片描述

总结：mmap之所以能有效提高kafka的吞吐量，是因为其在进行log文件读取的时候直接将log文件读入用户态进行缓存，绕过了内核态的page cache，避免了内核态和用户态的切换过程。

参考：
https://juejin.im/post/59f8691b51882534af254317#heading-16
https://www.cnblogs.com/huxiao-tee/p/4657851.html#_label2
https://www.cnblogs.com/huxiao-tee/p/4660352.html

大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
Kafka 物理存储机制
热门推荐
程序猿进阶
10-30 1万+
一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候，管理员指定了一个用于存储分区的目录清单log.dirs参数的值。
kafka.mmap
10-15
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka服务端高性能技术细节原理：基于零拷贝的mmap和sendfile
隐风的博客
10-14 2939
Kafka 的生产者将消息数据写入一个底层的 Socket 输出流中，并调用 sendfile 系统调用来将数据发送给消费者。由于 sendfile 可以直接将文件内容发送到网络输出流中，因此它避免了不必要的内存拷贝和数据复制，提高了数据传输效率。sendfile 是一个系统调用，它可以将文件内容直接发送到网络输出流中，避免了不必要的内存拷贝和数据复制。mmap 是一种内存映射文件的方法，它可以将文件映射到进程的地址空间中，使进程可以访问和操作文件内容，而无需进行显式的拷贝操作。
kafka解决了什么问题?mmap 和sendfile
最新发布
m0_37843156的博客
10-08 466
程序读取文件，调用内核的read(fd 8)方法，由内核替代程序读取文件描述符fd 8，程序就进入了所谓的io阻塞状态，即由用户态切换到内核态，由内核调用驱动再去读取这个文件，内核驱动将文件数据读取到内核空间，内核再拷贝到用户空间给程序使用。这个空间和磁盘文件做了MMAP映射，从这个空间中读取文件相当于从磁盘中读取文件，即文件的数据是直接放到这个共享区域里面的，程序可以不通过磁盘读取文件，而是直接从这个共享区域里面读取，减少了一次内核到进程之间数据拷贝的过程。程序只需要打开文件，拿到输入流的文件描述符；
Kafka是如何支持百万级TPS的？
孟凡霄
04-12 1055
程序读取文件，调用内核的read(fd 8)方法，由内核替代程序读取文件描述符fd 8，程序就进入了所谓的io阻塞状态，即由用户态切换到内核态，由内核调用驱动再去读取这个文件，内核驱动将文件数据读取到内核空间，内核再拷贝到用户空间给程序使用。这个空间和磁盘文件做了MMAP映射，从这个空间中读取文件相当于从磁盘中读取文件，即文件的数据是直接放到这个共享区域里面的，程序可以不通过磁盘读取文件，而是直接从这个共享区域里面读取，减少了一次内核到进程之间数据拷贝的过程。程序只需要打开文件，拿到输入流的文件描述符；
Kafka中mmap的相关总结
尘世中迷途小码农的专栏
06-28 1077
Kafka中mmap的相关总结
深入理解Kafka服务端之索引文件及mmap内存映射
大叶子不小的博客
11-01 2447
虽然写数据时偏移量索引文件和时间戳索引文件会同时写入一个索引项，但是两个索引项的相对偏移量不一定是一样的，这是因为：生产者生产消息时可以指定时间戳，导致一个批次中的消息，偏移量最大的对应的时间戳不一定最大，而时间戳索引文件中保存的是一个批次中最大的时间戳及对应消息的相对偏移量。对应的消息时， 需要配合偏移量索引文件进行查找。综上，对于active日志段，不管索引项具体有多少，都先生成10M的索引文件（包括偏移量索引文件和时间戳索引文件）来存储索引，当滚动生成新的日志段时，会将这个索引文件调整为实际大小。
kafka 不同分区文件存储_Kafka的高性能磁盘读写实现原理
weixin_29484035的博客
12-24 510
Kafka的高性能磁盘读写实现原理发布时间：2019-04-27 22:31,浏览次数：403, 标签：Kafka<>一、概述*Kafka作为一个支持大数据量写入写出的消息队列，由于是基于Scala和Java实现的，而Scala和Java均需要在JVM上运行，所以如果是基于内存的方式，即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写，从而会导致GC频繁影响性能。考虑到这些因素...
redis的高并发解决方案epoll任务驱动模型 + MQ和kafka的高性能读写实现方案 页缓存+零拷贝+MMAP共享缓存、内存映射
qq_42352936的博客
09-02 1334
redis的高并发解决方案epoll任务驱动模型 + 高性能读写实现方案 页缓存+零拷贝+MMAP共享缓存、内存映射
kafka18-PageCache高效写以及mmap调用原理
m0_63833709的博客
07-09 1374
PageCache（页缓存）是Linux操作系统中一种用来缓存文件系统数据的机制。它的主要作用是在内存中缓存从硬盘文件读取的数据，以提高文件访问速度和系统性能。整个过程通过使用 MMAMP 技术和操作系统的高效刷盘机制，使得 Kafka 在处理大量数据时能够实现高性能和低延迟的数据写入和持久化存储。
kafka可视化web管理工具-KafkaMmap
WinJay
01-28 9624
kafka map是使用Java11和React开发的一款kafka可视化工具。多集群管理集群状态监控（分区数量、副本数量、存储大小、offset）主题创建、删除、扩容（删除需配置delete.topic.enable = true）broker状态监控消费者组查看、删除重置offset消息查询（支持String和json方式展示）发送消息（支持向指定的topic和partition发送字符串消息）功能截图。
Kafka零拷贝机制
TangYuG的博客
07-29 583
Kafka之所以那么快，其中一个很大的原因就是零拷贝（Zero-copy）技术，零拷贝不是kafka的专利，而是操作系统的升级，又比如Netty，也用到了零拷贝。
高冷学霸给我送了一周早餐竟是为了(2)，2024年最新大数据开发面试中常问的MMAP到底是啥东东
2401_84181885的博客
04-14 929
速度快：由于ApacheSpark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍易使用：Spark的版本已经更新到了Spark3.1.2（截止日期2021.06.01），支持了包括Java、Scala、Python、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。
kafka学习笔记
lans_g的博客
08-18 1290
我们知道，kafka是一个高性能、高可用和高扩展的消息队列，其中往队列中发送数据的称为生产者producer，从队列中拿取数据的称为消费者Consumer。根据不同的业务需求，我们肯定需要有多个不同的队列，其中每一个队列称为一个topic（主题）。可以多个生产者往一个topic里面发送数据，也可以有多个消费者从一个topic里面拿取数据。既然kafka是高可用的，那么把海量的数据放在一台主机上肯定是不行的，如果这台主机宕机了怎么办？...
Kafka 的服务端的物理存储架构是什么？零拷贝，mmap，sendfile、DMA gather又是什么？
大户影视的博客
04-29 1574
Kafka 通过物理存储架构的优化（分区、日志段、稀疏索引）与零拷贝技术（mmap、sendfile、DMA gather）的结合，实现了高吞吐、低延迟的数据处理能力。理解这些机制有助于优化 Kafka 集群的配置与调优（如调整日志段大小、合理使用压缩）。Kafka 将每个主题划分为多个分区，每个分区是一个有序、不可变的消息序列。每个分区的数据被拆分为多个固定大小的日志段文件（默认 1GB），追加写入。
Kafka入门到精通
Bolg of EQuaker
06-22 1800
buffer.memory它代表缓冲区内存的大小，默认为32M，batch.size代表消息批次的大小，默认为16kb，在BufferPool中，batch.size其实就是代表一个ByteBuffer的大小，因为BufferPool只管理batch.size大小的ByteBuffer，在kafka初始化的时候，就会创建缓冲区(new BufferPool)，如下，在创建消息收集器RecordAccumulator的时候，就创建了BufferPool。然而，索引文件是稀疏的，它们相对较小。
【Kafka】一文详解零拷贝原理……
u011250186的博客
03-06 3280
【Kafka】一文详解零拷贝原理
使用mmap映射来读写文件
10-13 1273
使用mmap映射来读写文件
Kafka面试深度解析：高效机制与存储原理
"Kafka面试题与答案，涵盖了Kafka的高效读写、分布式特性、文件存储机制以及清理策略" 1、Kafka的高效读写数据能力主要体现在以下几个方面： - **分布式集群**：Kafka设计为分布式系统，支持多分区和副本，这允许...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值