数据库不用mmap

原创 已于 2024-04-06 15:28:16 修改 · 456 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

于 2024-04-06 15:18:46 首次发布

你确定你想用 MMAP 实现数据库么？_哔哩哔哩_bilibili

MMAP 的随机读与顺序读的性能表现不好，以及对于写主要是不可控的刷入时机以及代码冗余，所以 MMAP 不适合在数据库中使用。

mmap是posix系统调用，它提供由操作系统管理内存映射的文件。基于mmap的文件io并不适合您的dbms。持久化存储中读取和写入文件的能力（persistent file storage）。一些流行使用的是内存映射文件io即mmap。在程序需要文件页之前，他实际上不会将文件页加载到内存。但是当操作系统检索页面的时候，他会意识到内存中没有关联的物理页面，所以它需要触发一个页面错误才能从磁盘上获取它，然后OS向页面添加物理地址映射到虚拟地址的条目，映射也将被存储在称为转译后备缓冲区或TLB的特殊cpu缓存中，这将有助于加速未来的重复访问，所以我们不总是在页表中进行查找内容

最低0.47元/天 解锁文章
推荐文章：探索数据库性能边界 —— 使用mmap的深度剖析与实战
gitblog_00691的博客
08-28 455
推荐文章：探索数据库性能边界 —— 使用mmap的深度剖析与实战 项目介绍 在数据库管理系统的浩瀚星辰中，内存映射（mmap）作为一种高效的数据访问技术，一直饱受争议。CIDR 2022年度论文《你确定要在DBMS中使用mmap吗？》由Andrew Crotty, Viktor Leis, 和 Andrew Pavlo联手打造，为我们揭开这一技术的神秘面纱。本项目正是该论文的实践支撑——mmap ...
I/O多路复用（二）
该用户还没想到好的昵称的博客
04-29 912
阻塞式I/O流程；传统read/write流程；mmap。
认真分析mmap：是什么 为什么 怎么用
weixin_30493401的博客
07-20 5187
mmap基础概念 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实...
mmap函数，对于存入结构化数据的操作，以及映射内存的操作
L_小杰的博客
10-30 1031
mmap(内存映射， memory, map)函数的作用是建立一段内存，使它能够被两个或更多个程序读写。 下面的程序主要分为三段： 第一段是写入数据到一个文件中， 第二个段是使用fread的传统方法来进行更改内容 第三段是使用mmap进行内存映射进行操作 #include #include #include #include #include typedef struct { int
mmap的优缺点:
mingchan的专栏
09-16 2609
引用：http://lkml.indiana.edu/hypermail/linux/kernel/0004.0/0728.html People love mmap() and other ways to play with the page tables to  optimize away a copy operation, and sometimes it is worth
MySQL数据库的版本升级.mmap
12-22
MySQL数据库版本更新脑图，免费下载，支持原创哦
秦瑜2128224082数据库系统概论.mmap
12-29
秦瑜2128224082数据库系统概论.mmap
262数据库第三天.mmap
10-14
262数据库第三天.mmap
数据库服务器知识点.mmap
03-20
希望这个 验证可以帮助更多 对前端热爱的人员，只要心中有梦我们的前端梦就会继续！ 另外 希望如果不喜欢可以不评论，但是不要对作品进行诋毁!
mmap优缺点
shenyanxxxy的专栏
08-06 9454
mmap这个函数是和page cache有密切关系的函数之一。 他将一个文件映射到一块内存区域当中。mmap的特点是按需调页。最开始只申请vma，并不调真正的页。当对某些页进行引用的时候，会引起一个缺页中断，再将页面调入到内存当中，这样避免了对内存的浪费。 优点是：    操作文件就像操作内存一样，适合于对较大文件的读写。 缺点是：  
mmap其实并没有那么好
热门推荐
lotluck的专栏
08-13 1万+
现网问题 关于mmap的基本操作自行google去吧， 一抓一大把，99%基本上夸mmap是有多好多快，mmap快是因为建立了页到用户进程的虚拟空间映射，以读取文件为例，避免了页从内核态拷贝到用户态， 少了一次拷贝，而且在内存中操作，从这个层面看，mmap是屌屌的。但是在现网使用， mmap带来很多问题。 图一： 内存吃紧，swap也是关闭， 该进程使用内存状况 图二： 该进程 mm...
mmap
kylin_fire_zeng的专栏
09-06 1006
原创：kylin_zeng http://blog.sina.com.cn/u/2312748742 一、 mmap系统调用： 1）void *mmap(void *addr,size_t len, int prot, int flags, int fd, off_t offset); 2）功能：内存映射函数mmap将文件内容映射到进程的虚拟内存空间中，可以通过读取和更改这段内存从而间接改文件
TLB的那些事儿
omnispace的博客
03-11 8859
这两天因为某些原因，好好地研究了一下Intel的手册，比较系统地学习了一下和TLB相关的知识。以下内容主要来自Intel手册第三卷的第4章，第11章和第28章。 我们知道，现在内存寻址基本采用的是页表翻译机制，即给定一个虚拟地址，经过2~4层页表，得到一个物理地址。虽然该过程一般由硬件（MMU）完成，但是也会有一定的延迟。因此，为了加速页表翻译的过程，一般的处理器都会有一个翻译信息的缓存机制
深入理解 Linux 内核--jemalloc 引起的 TLB shootdown 及优化
weixin_46837673的博客
04-08 1604
本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容，和大家分享团队在基础架构发展和演进过程中的实践经验与教训，与各位技术同学一起交流成长。 “延迟突刺”、“性能抖动”等问题通常会受到多方因素影响不便排查，本文以线上问题为例，详解 TLB shootdown，最终使得 CPU 的消耗降低 2% 左右，并消除了抖...
MMAP技术
每天叫醒自己的不是闹铃 是娟 是梦 是理想。
08-25 1645
1. mmap 基础概念 mmap 即 memory map，也就是内存映射。 mmap 是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read、write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
什么时候选择mmap而非read?
nidongla的博客
05-03 731
mmap 和 read 系统流程拼多多优惠券 https://www.fenfaw.net/ 在linux文件系统中，通常使用open(), read()读取文件，但操作系统同样提供了mmap()作为读取文件的方式，而这两者有什么不同呢？什么时候用read(), 什么时候用mmap()？ 首先，read 的通常使用方法是 read(fd, buffer, size)，将要读取的数据读到buffer中。这就涉及到两个步骤，read是系统调用函数，每次使用read都要进入内核态，进行上下文切换。内核首先将文件.
传统缓存 IO 和 Mmap的区别
My_wife_QBL的博客
07-16 1890
在现代计算系统中，IO操作是数据处理的关键环节。为了提升IO操作的效率，开发者通常采用不同的技术手段来优化数据读写。传统缓存IO和内存映射（Mmap）是两种常用的方法，它们在性能、实现方式和应用场景上各有不同。本文将详细解释传统缓存IO和Mmap的区别，并探讨它们在不同场景下的应用。
MMAP
最新发布
08-01
### ### MMAP 技术原理 MMAP（内存映射）是一种操作系统提供的机制，它允许将文件或设备的内容直接映射到进程的虚拟地址空间中。通过这种映射，应用程序可以像访问内存一样访问文件内容，而无需使用传统的 `read()` 和 `write()` 系统调用。当程序访问映射区域时，操作系统会通过页表将文件的物理页与进程的虚拟内存页建立对应关系，从而实现高效的 I/O 操作[^4]。 在实现上，`mmap()` 系统调用负责将文件映射到进程的地址空间，内核会按需将文件内容加载到物理内存中。当程序访问尚未加载的内存区域时，会触发缺页异常（page fault），系统自动从磁盘读取相应文件内容并映射到内存。这种机制避免了显式调用 `read()` 和 `write()` 所带来的上下文切换和数据复制开销，提升了 I/O 性能[^3]。 ### ### 使用场景 MMAP 技术适用于需要频繁访问大文件或需要高效随机访问的场景。例如，在数据库系统中，MMAP 可用于将数据库文件直接映射到内存中，从而避免频繁的 I/O 操作。此外，它也广泛应用于日志文件读写、内存映射共享库、以及需要共享内存的多进程通信场景。 在 RocketMQ 和 Redis 等高性能系统中，MMAP 被用来优化磁盘 I/O 操作。例如，Redis 使用 MMAP 来加载 RDB 快照文件，而 RocketMQ 使用 MMAP 来实现高效的日志写入和检索，从而提升整体性能[^4]。 ### ### 优势 MMAP 的主要优势在于减少数据复制和上下文切换次数，从而提升 I/O 效率。传统的文件读写操作需要通过 `read()` 或 `write()` 系统调用在用户空间和内核空间之间进行数据复制，而 MMAP 则通过将文件内容直接映射到用户空间，省去了这一过程。这种机制在处理大文件或需要频繁访问的场景下，能显著降低 CPU 开销和内存消耗。 此外，MMAP 支持多个进程共享同一段内存区域，从而实现高效的进程间通信（IPC）。这种方式不仅减少了内存占用，还简化了同步和数据共享的实现难度。在 Java 中，`MappedByteBuffer` 提供了基于 MMAP 的内存映射支持，使得 NIO 在处理大文件、高并发和随机访问场景下表现出色[^2]。 ### 示例代码 以下是一个使用 `mmap` 读取文件内容的 C 语言示例： ```c #include <sys/mman.h> #include <sys/stat.h> #include <fcntl.h> #include <stdio.h> #include <unistd.h> int main() { int fd = open("example.txt", O_RDONLY); if (fd == -1) { perror("open"); return 1; } struct stat sb; if (fstat(fd, &sb) == -1) { perror("fstat"); return 1; } char *addr = mmap(NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0); if (addr == MAP_FAILED) { perror("mmap"); return 1; } printf("File content:\n%.*s\n", (int)sb.st_size, addr); if (munmap(addr, sb.st_size) == -1) { perror("munmap"); return 1; } close(fd); return 0; } ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值