研：mmap 总结

最新推荐文章于 2025-04-22 14:19:43 发布
原创 最新推荐文章于 2025-04-22 14:19:43 发布 · 336 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客围绕读写大文件展开，指出映射太大文件会失败，映射大于4096字节后无法访问后续内容并报错，需分片映射再解开。强调可映射大文件但不一定能访问，要切小成页大小操作，还对linux内存管理的mmap函数进行了详解。

目的：读写大文件。

遇到的坑：

映射太大的文件，失败。

直接原因，映射大于4096字节后，会导致不能访问后续的，报错。要分片进行，一片一片的映射，然后再解开。

 

 

可以映射大文件，但是不一定能访问。。。所以需要切小成页大小来进行操作。

linux内存管理——mmap函数详解

 

万字详解：ClickHouse 存算分离架构与数据一致性事务机制实现
AI天才研究院
03-31 500
成本效益存储成本降低60%，计算资源利用率提升40%弹性扩展支持秒级扩容千核计算资源数据强一致金融级事务支持能力云原生融合无缝集成现代云基础设施未来随着软硬协同优化技术的发展，ClickHouse有望在实时分析、HTAP等领域开创新的技术范式。多云/混合云部署环境需要弹性伸缩的SaaS应用强一致性要求的财务分析系统PB级历史数据交互式查询本文介绍的是如何实现ClickHouse的存算分离架构和数据一致性的事务机制，需要万字详解。首先，我得先理解存算分离是什么。
操作系统常见面试总结
Tsehooo的博客
07-30 2288
一、操作系统： 1.操作系统的线程和进程的区别，线程的几种状态 ① 进程和线程 进程（Process）是资源分配的基本单位，线程（Thread）是CPU调度的基本单位。 线程将进程的资源分和CPU调度分离开来。 以前进程既是资源分配又是CPU调度的基本单位，后来为了更好的利用高性能的CPU，将资源分配和CPU调度分开。因此，出现了线程。 进程和线程的联系： 一个线程只能属于一个进程，一个进程可以拥有多个线程。线程之间共享进程资源。 进程和线程的实例： 打开一个QQ，向朋友A发文字消息是一个线程，向朋友B发
Linux线程（进程）数限制
bobo now~
11-16 2000
Linux线程（进程）数限制
linux下brk、mmap、malloc和new的区别
Helloguoke的专栏
03-20 4476
答：brk是系统调用，主要工作是实现虚拟内存到内存的映射，可以让进程的堆指针增长一定的大小，逻辑上消耗掉一块虚拟地址空间，malloc向OS获取的内存大小比较小时，将直接通过brk调用获取虚拟地址。 mmap是系统调用，也是实现虚拟内存到内存的映射，可以让进程的虚拟地址区间切分出一块指定大小的虚拟地址空间vma_struct，一个进程的所有动态库文件.so的加载，都需要通过mmap系统调用映
RuntimeError: unable to mmap 2048 bytes from file: Cannot allocate memory (12)
Drug discovery
05-19 2505
运行过程中出现错误： 我查看了内存的大小，发现内存并没有吃满，换了一个电脑设置max_map_count的较大的值，发现可以成功运行不出错，设置方式如下：# 查看当前值# 设置新的值这是对于自己的服务器来说，是可以通过上面的方式进行解决的，但是如果你使用的是租赁的服务器，就会出现错误：sysctl: setting key "vm.max_map_count", ignoring: Read-only file system此时，你并没有办法修改 max_map_count ，你只能使用分布式将程序放在多
mmap函数大文件读写可能出现的问题
zhangshumin的专栏
03-16 3482
转载：http://www.chineselinuxuniversity.net/articles/41953.shtml ------------------------------------------------------------------------- 　mmap函数实现把一个文件映射到一个内存区域，从而我们可以像读写内存一样读写文件，他比单纯调用read/write也要
linux mmap 详解
白水煮鸡蛋
03-22 1232
一.前言 mmap的具体实现以前在学习内核时学习过，但是对于其中的很多函数是一知半解的，有些只能根据其函数名来猜测其具体的功能，在本文中，一起来重新深入理解其具体的实现。 二.mmap的用户层应用 void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);  具体参数含义 start ：
研：内存映射方式处理大数据(20G) mmap＋memcpy
hunter
05-26 1598
目的，快速读写20G数据，， 方法：mmap＋memcpy 状态：暂时放弃治疗 已搞定：　 bug: mmap＋memcpy, char 转int 又出问题了 研：mmap + memcpy　与传统　ofream读写对比 研：mmap 总结 乱到我都不想看，，，毕竟草稿本。 各位大佬， 我想用mmap+memcpy将A文件（超过6gb,都是字符） 每个字符变成一个in...
course2610_lab19虚存映射mmap()及读写性能探究（上）
chumingqian的博客
05-19 1190
虚拟内存系统通过将虚拟内存分割为称作虚拟页(Virtual Page，VP)大小固定的块，一般情况下，每个虚拟页的大小默认是4096字节。 同样的，物理内存也被分割为物理页(Physical Page，PP)，也为4096字节。 背景 在研发分布式日志存储系统，基于Raft协议的自研分布式日志存储系统，Logstore则是底层存储引擎。 Logstore中，使用mmap对数据文件进行读写。Logstore的存储结构简化如下图： Logstore使用了Segments Files + Index F.
自研RTP解包器架构设计：高性能内存管理与零拷贝优化的6大核心策略
# 自研RTP解包器的高性能架构演进：从内存池到零拷贝，打造超低延迟音视频引擎 在今天这个直播、远程会议、云游戏全面爆发的时代，用户对“实时”的要求已经到了毫秒级甚至微秒级。你有没有经历过那种场景——线上...
研究生电子设计竞赛论文
06-15
资源有39篇优秀的论文，学校作者均为国内名牌大学，可以用于参考。 对于参加研究生电子设计大赛具有参考价值。
研究生电子设计竞赛论文.zip
06-30
有word版本和pdf版本，word版本是近几届比赛的
研究生电子设计竞赛论文集
06-09
第七届研究生电子设计竞赛优秀论文集+第十三届中国研究生电赛+第十四届中国研究生电赛
【2018年TI杯】电赛D题一等奖论文
08-16
第一次参加省电赛就获得一等奖，分享这篇获奖论文，算是一个经验分享。
室内定位论文 基于激光雷达的室内AGV地图创建与定位方法研究_满增光.caj
04-15
室内定位论文 基于激光雷达的室内AGV地图创建与定位方法研究_满增光.caj。 室内定位论文。 室内定位论文 吧v
关于mmap的解析
u013043103的博客
09-23 568
看这篇文章之前需要知道一个概念 虚拟内存系统通过将虚拟内存分割为称作虚拟页(Virtual Page，VP)大小固定的块，一般情况下，每个虚拟页的大小默认是4096字节。同样的，物理内存也被分割为物理页(Physical Page，PP)，也为4096字节。 一、mmap基本原理和分类 在LINUX中我们可以使用mmap用来在进程虚拟内存地址空间中分配地址空间，创建和物理内存的映射关系。 映射关系 映射关系可以分为两种 1、文件映射 磁盘文件映射进程的虚拟地址空间，使用文件内容初始化物理内存。
讲一讲什么是 MMAP
热门推荐
LoveSummer
03-28 2万+
1. mmap 基础概念 mmap 即 memory map，也就是内存映射。 mmap 是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read、write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示： mma
【免费下载】 第十九届研电赛技术论文模板
gitblog_06738的博客
04-22 1255
第十九届研电赛技术论文模板 【下载地址】第十九届研电赛技术论文模板 第十九届研电赛技术论文模板专为参赛选手打造，提供了一套完整的论文格式规范与排版样式。模板涵盖了标题、摘要、关键词等基本设置，详细指导文章结构、段落安排以及图表、公式、参考文献的插入方法，确保论文符合评审要求。用户只需下载模板，按照说明撰写内容，即可轻松完...
对于mmap函数错误的理解
Milk_1997的博客
09-05 8597
今天在练习韦东山老师的第三期项目的时候出现了一个错误，在mmap中总是出现Can't mmap 也就是内存映射之后的返回值为(unsigned char *)-1. 找了很久终于解决了问题，出现问题的原因是因为在获取 设备数据的时候出现了错误，导致mmap中的参数出现问题。在这里我不会几下我到底出现了什么样的问题，我在这里会记录下解决的方法，以此可以推广遇到其他的问题的解决上面。在一些Linux下的
修复git报错：fatal: mmap failed: Invalid argument
最新发布
07-29
Git 报错 `fatal: mmap failed: Invalid argument` 通常与内存映射（mmap）系统调用失败有关。`mmap()` 是操作系统用于将文件或设备映射到内存中的机制，在 Git 操作中（如 `git clone`、`git checkout` 或 `git gc`）可能涉及大量文件操作，Git 会尝试使用 `mmap` 来提升性能。当 `mmap` 调用失败时，Git 会抛出 `fatal: mmap failed: Invalid argument` 错误。 --- ### 常见原因及解决方案 #### 1. 文件映射地址未对齐 `mmap()` 要求映射的地址必须按照系统页大小对齐。如果传入的地址未对齐，会导致 `EINVAL`（Invalid argument）错误。这种情况通常出现在 Git 内部处理对象或索引文件时出现异常。 解决方法是确保 Git 的索引文件和对象数据库处于良好状态，可以通过以下步骤修复： ```bash git rm -r --cached . git reset git add . git commit -m "Fix index and object alignment" ``` 此外，也可以尝试清除 Git 缓存并重新构建索引： ```bash git gc --prune=now git update-index --really-refresh ``` #### 2. 存储空间或内存不足 当系统内存不足或磁盘空间耗尽时，`mmap()` 可能无法分配足够的内存区域，导致失败。可以通过以下命令检查系统资源使用情况： ```bash free -h df -h ``` 如果发现内存不足，可以尝试关闭一些占用内存的应用程序，或增加系统交换空间（swap）。 #### 3. 文件系统或存储设备问题 某些文件系统（如 FAT32、exFAT）或网络文件系统（如 NFS）可能对内存映射支持不完善，导致 `mmap()` 调用失败。建议将 Git 仓库迁移到本地支持 mmap 的文件系统（如 ext4、NTFS、APFS）上。 #### 4. 内核限制或安全模块干扰 在某些 Linux 系统中，内核参数或安全模块（如 SELinux、AppArmor）可能限制 `mmap()` 的行为。可以通过临时禁用这些模块或调整内核参数进行排查。 例如，禁用 SELinux 临时测试： ```bash sudo setenforce 0 ``` 如果问题消失，则可能是 SELinux 策略导致的问题。 #### 5. Git 缓存或索引损坏 Git 的索引文件或对象数据库损坏也可能导致 mmap 错误。可以尝试删除索引并重建： ```bash rm -f .git/index git reset git add . ``` 同时，清理 Git 的缓存对象： ```bash git reflog expire --expire=now --all git gc --prune=now ``` --- ### 额外建议 - **更新 Git 版本**：确保使用的是最新版本的 Git，某些旧版本可能存在 mmap 相关的 bug。 - **使用 SSH 替代 HTTP**：如引用中提到的那样，某些网络环境下使用 HTTPS 会失败，改用 SSH 协议可以绕过部分网络限制 [^1]。 - **检查磁盘 I/O 错误**：运行 `dmesg` 查看是否有磁盘 I/O 错误或文件系统警告。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值