研：mmap + memcpy　与传统　ofream读写对比

最新推荐文章于 2025-01-06 20:33:34 发布
原创 最新推荐文章于 2025-01-06 20:33:34 发布 · 490 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客记录了一次性能测试，对比了使用mmap和memcpy与传统的ofstream在读写文件时的效率。测试涉及逐个字符读取、计算以及写回文件的操作，详细分析了不同方法在处理文件大小变化时的表现。

结果记录：

 

操作：一个个字符读取之后进行计算，再写入文件。

size mmap ofream
 

 

 
849M

Now submit all the things, thanks!

real    1m37.248s
user    1m30.356s
sys    0m5.884s

Now submit all the things, thanks!

real    2m24.084s
user    2m16.468s
sys    0m5.492s
4.5g

4.5G May 29 13:53 test.data

Now submit all the things, thanks!

real    6m4.668s
user    5m46.820s
sys    0m13.100s

 
最低0.47元/天 解锁文章
QNX 平台下 mmap 缓存与非缓存模式的 memcpy 性能分析
Where there is life, there is hope.
05-05 2376
在嵌入式系统中，数据处理效率对系统性能至关重要。在 QNX 系统中，通过 `mmap` 函数将文件映射到内存后，可以选择启用或禁用缓存（Cache）。本文将对比在缓存（Cache）和非缓存（NoCache）情况下，使用 `memcpy` 和汇编版本 `asm_memcpy` 的数据传输速度，帮助开发者优化系统性能。
使用mmap和memcpy编写文件复制程序
maryfei的博客
03-03 2717
开始没有区分好匿名内存和文件映射之间的区别，而出现了一些错误。/********************** > File Name: test_cp.c > Created Time: 2018年03月03日 星期六 09时55分29秒 ****************************/ #ifdef USE_MAP_ANON #define _BSD_S...
memcpy和mmap
weixin_34186950的博客
09-01 434
1: /* 2: author:justinzhang 3: email:uestczhangchao@gmail.com 4: time:2012-8-22 18:50:23: 5: desc: a buggy program from bbs.qshpan.com, i use strerror(errno) to locate 6: the proble...
研：内存映射方式处理大数据(20G) mmap＋memcpy
hunter
05-26 1598
目的，快速读写20G数据，， 方法：mmap＋memcpy 状态：暂时放弃治疗 已搞定：　 bug: mmap＋memcpy, char 转int 又出问题了 研：mmap + memcpy　与传统　ofream读写对比 研：mmap 总结 乱到我都不想看，，，毕竟草稿本。 各位大佬， 我想用mmap+memcpy将A文件（超过6gb,都是字符） 每个字符变成一个in...
PMDK vs mmap/memcpy
帅的数说
05-29 893
PMDK进行创建文件时调用函数pmem_map_file，而这个函数底层调用mmap，那么这个PMDK和操作系统函数调用有何不同呢？ 内容 Libpmem的pmem_map_file()支持2M/1G（大页大小）对齐方式，这样能够减少页故障频率。另外，pmem_memcpy_nodrain()通过单指令、多数据指令（SIMD）、NT存储指令（MOVNT）拷贝数据。这样的话，通过libpmem的API函数比mmap()、memcpy()快。 Linux4.5及更高版本支持MAP_SYNC和MAP...
MIT 6.S081 实验Lab 10：mmap笔记与心得
cube__4的博客
06-14 1321
MIT 6.S081 实验Lab 10：mmap 笔记与心得
MySql高级-思维导图（脑图）（mmap+HTML）
08-04
"MySql高级-思维导图（脑图）（mmap+HTML）" 提供的是一个关于MySQL高级特性和概念的可视化学习资源，它可以帮助用户更有效地理解和掌握MySQL的深度知识。 思维导图，又称为脑图，是一种有效的记忆和思考工具，它...
利用mmap实现文件拷贝
Silence神乐
11-24 5159
（写于November 14th, 2013）    今天根据老师的介绍试着使用mmap函数来实现拷贝文件，确实速度比read和write实现的要快很多。 首先介绍一下mmap函数：    mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。 该函数主要用途有三个：    1、将一个
mmap与直接IO（read、write）的效率比较
qq100440110的专栏
08-03 1万+
不能简单的说哪个效率高，要看具体实现与具体应用。 无论是通过mmap方式或read/write方式访问文件在内核中都必须经过两个缓存：一个是用address_space来组织的以页为基础的缓存；一个是以buffer来组织的缓存，但实际上这两个缓存只是同一个缓冲池里内容的不同组织方式。当需要从文件读写内容时，都经过 address_space_operation中提供的函数也就是说路径是一致的。如
通过mmap_device_memory将硬件地址映射程序中及通过memcpy将程序变量值赋给硬件地址
modi000的博客
02-22 1190
#define MAP_FAILED ((void *)-1) -----系统自带 #define REG_ADDR 0x80003000 ---人为定义的 1、将硬件地址映射到程序中 void* ptr = mmap_device_memory( 0, 0x1000, PROT_READ|PROT_WRITE|PROT_NOCACHE, 0, REG_ADDR ); if(ptr == MAP_FAILED) { print...
mmap函数用法及示例程序
nancygreen的专栏
06-21 1万+
UNIX网络编程第二卷进程间通信对mmap函数进行了说明。该函数主要用途有三个：1、将一个普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，这样用内存读写取代I/O读写，以获得较高的性能；2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。头文件：   #include
Linux mmap内存映射
m0_74282605的博客
03-13 867
mmap除了可以减少read,write等系统调用以外，还可以减少内存的拷贝次数，比如在read调用时，一个完整的流程是操作系统读磁盘文件到页缓存，再从页缓存将数据拷贝到read传递的buffer里，而如果使用mmap之后，操作系统只需要将磁盘读到页缓存，然后用户就可以直接通过指针的方式操作mmap映射的内存，减少了从内核态到用户态的数据拷贝。（1）实际拷贝数据前，需要建立映射信息，内存文件映射已经提前准备好了映射关系，内核调度好了进程内的内存块，交付给内核进行了预先处理，内存文件映射会消耗掉一些时间。
mmap 创建共享内存映射
challenglistic的博客
12-03 2523
mmap 创建共享内存映射
mmap内存映射
weixin_45205160的博客
09-26 2747
存储映射I/O (Memory-mapped I/O) 使一个磁盘文件与存储空间中的一个缓冲区相映射。于是当从缓冲区中取数据，就相当于读文件中的相应字节。于此类似，将数据存入缓冲区，则相应的字节就自动写入文件。这样，就可在不适用read和write函数的情况下，使用地址（指针）完成I/O操作。使用这种方法，首先应通知内核，将一个指定文件映射到存储区域中。这个映射工作可以通过mmap函数来实现。
MMap的用法示例
最新发布
mytzs123的博客
01-06 1298
mmap()是一个功能强大的系统调用，广泛应用于各种内存管理和进程间通信的场景。通过匿名内存映射，可以高效地在进程间共享数据；通过文件内存映射，可以简化文件操作并提升性能；通过将同一文件映射到多个进程的地址空间，实现高效的共享内存通信。理解并熟练使用mmap()能够显著提升程序的性能和灵活性，尤其是在需要高效内存管理和进程间协作的复杂应用中。
mmap（）、munmap（）的用法、例子
热门推荐
as_fan的专栏
09-21 3万+
《Linux中C库mmap()函数详解》 简介：  Linux的mmap系统调用（libc封装了同名函数）可以分配一段匿名的虚拟内存区域，也可以映射一个文件到内存。  mmap()必须以PAGE_SIZE为单位进行映射，而内存也只能以页为单位进行映射，若要映射非PAGE_SIZE整数倍的地址范围，要先进行内存对齐，强行以PAGE_SIZE的倍数大小进行映射。  mmap操作提供了一种机制，
内存映射mmap技术详解
大隐隐于野
06-03 9379
前面讲过，建立内存映射并没有实际拷贝数据，这时，MMU在地址映射表中是无法找到与ptr相对应的物理地址的，也就是MMU失败，将产生一个缺页中断，缺页中断的中断响应函数会在swap中寻找相对应的页面，如果找不到（也就是该文件从来没有被读入内存的情况），则会通过mmap()建立的映射关系，从硬盘上将文件读取到物理内存中，如图1中过程3所示。当进程发起读写操作时，会访问虚拟地址空间，通过查询页表，发现这段地址不在物理页上，因为只建立了地址映射，真正的数据还没有拷贝到内存，因此引发缺页异常。
Linux进程间通信：mmap共享内存详解与示例
mmap（Memory Map）是Unix和类Unix系统中用于内存映射文件的系统调用，它允许进程直接与文件内容交互，而无需通过read和write等系统调用来进行数据传输。这种方式提高了I/O效率，尤其是在频繁读写或多个进程共享同一...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值