MMAP详解 && RocketMQ和Redis为什么使用MMAP

经历:本人一次面试过程中,一位面试官问RocketMq为什么写入性能这么好,然后我巴拉巴拉跟他说了一堆有关零拷贝,mmap相关知识,最后面试官来了一句,你说的mmap技术跟写入好像没多大关系,当时仔细一想好像是这么回事,只是将网上的mmap八股文背了下来没有真正的去理解他。。。。
📌 1. 什么是 mmap?

mmap(Memory Map) 是一种将 文件或设备 映射到 进程的地址空间 的方法。通过 mmap,应用程序可以像操作内存一样访问文件内容,而不需要使用传统的 I/O 读写系统调用。

  • 操作系统支持: 几乎所有现代操作系统(如 Linux、Windows)都提供 mmap 支持。
  • 应用场景: 用于处理大文件、高效读取日志、数据库设计等。

⚙️ 2. mmap 的工作原理

mmap 将文件内容直接映射到进程的虚拟内存中,省去了多次 I/O 读写的开销。主要流程包括:

  1. 文件映射: 系统调用 mmap() 将文件映射到虚拟地址空间
  2. 内存访问: 访问映射区域时,内核会维护一张页表,记录文件的物理页与进程虚拟内存页之间的对应关系。
  3. 同步机制: 可以选择将内存中的更改同步回文件。

🧩 3. mmap 的优势
  1. 高效读取:

    • 直接访问内存,避免了频繁的 I/O 系统调用,提升性能。
  2. 零拷贝技术:

    • 数据无需在用户空间和内核空间之间多次拷贝。
  3. 随机访问:

    • 适合大文件的随机读取和写入操作。
  4. 共享内存:

    • 不同进程可以共享同一个内存映射区域,实现跨进程通信(IPC)。

⚠️ 6. mmap 的注意事项
  1. 页面对齐:
    映射的地址和大小必须是 内存页面大小 的整数倍。

  2. 同步问题:

    • 使用 msync() 强制将修改同步到磁盘。
    • 不同步会导致数据丢失风险。
  3. 资源管理:
    使用完毕后必须调用 munmap() 释放内存映射,避免内存泄漏。

🧠 7. mmap 在实际场景中的应用
  1. 大文件处理:
    读取大型日志文件、图片、视频等,避免加载整个文件到内存中。

  2. 使用场景案例:
    如  RocketMqRedis 使用 mmap 提高性能。

  3. 进程间通信(IPC):
    通过共享内存区域进行高效数据交换。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值