madvise()详解

madvise() 函数建议内核,在从 addr 指定的地址开始,长度等于 len 参数值的范围内,该区域的用户虚拟内存应遵循特定的使用模式。内核使用这些信息优化与指定范围关联的资源的处理和维护过程。如果使用 madvise() 函数的程序明确了解其内存访问模式,则使用此函数可以提高系统性能。

#include <sys/types.h>
#include <sys/mman.h>
int madvise(caddr_t addr, size_t len, int advice);

madvise() 函数提供了以下标志,这些标志影响 lgroup 之间线程内存的分配方式:

MADV_ACCESS_DEFAULT

此标志将指定范围的内核预期访问模式重置为缺省设置。

MADV_ACCESS_LWP

此标志通知内核,移近指定地址范围的下一个 LWP 就是将要访问此范围次数最多的 LWP。内核将相应地为此范围和 LWP 分配内存和其他资源。

MADV_ACCESS_MANY

此标志建议内核,许多进程或 LWP 将在系统内随机访问指定的地址范围。内核将相应地为此范围分配内存和其他资源。

madvise() 函数可以返回以下值:

EAGAIN

指定地址范围(从 addraddr+len)中的部分或所有映射均已锁定进行 I/O 操作。

EINVAL

addr 参数的值不是sysconf(3C) 返回的页面大小的倍数,指定地址范围的长度小于或等于零或者建议无效。

EIO

读写文件系统时发生 I/O 错误。

ENOMEM

指定地址范围中的地址不在进程的有效地址空间范围内,或者指定地址范围中的地址指定了一个或多个未映射的页面。

ESTALE

NFS 文件句柄过时。


  mmap的作用是将硬盘文件的内容映射到内存中,采用闭链哈希建立的索引文件非常适合利用mmap的方式进行内存映射,利用mmap返回的地址指针就是索引文件在内存中的首地址,这样我们就可以放心大胆的访问这些内容了。

      使用过mmap映射文件的同学会发现一个问题,search程序访问对应的内存映射时,处理query的时间会有latecny会陡升,究其原因是因为mmap只是建立了一个逻辑地址,linux的内存分配测试都是采用延迟分配的形式,也就是只有你真正去访问时采用分配物理内存页,并与逻辑地址建立映射,这也就是我们常说的缺页中断。  

      缺页中断分为两类,一种是内存缺页中断,这种的代表是malloc,利用malloc分配的内存只有在程序访问到得时候,内存才会分配;另外就是硬盘缺页中断,这种中断的代表就是mmap,利用mmap映射后的只是逻辑地址,当我们的程序访问时,内核会将硬盘中的文件内容读进物理内存页中,这里我们就会明白为什么mmap之后,访问内存中的数据延时会陡增。

      出现问题解决问题,上述情况出现的原因本质上是mmap映射文件之后,实际并没有加载到内存中,要解决这个文件,需要我们进行索引的预加载,这里就会引出本文讲到的另一函数madvise,这个函数会传入一个地址指针,已经一个区间长度,madvise会向内核提供一个针对于于地址区间的I/O的建议,内核可能会采纳这个建议,会做一些预读的操作。例如MADV_SEQUENTIAL这个就表明顺序预读。

     如果感觉这样还不给力,可以采用read操作,从mmap文件的首地址开始到最终位置,顺序的读取一遍,这样可以完全保证mmap后的数据全部load到内存中。




03-18
### madvise 函数概述 `madvise` 是 Linux 和 Unix 系统中的一个重要函数,用于向操作系统提供关于内存访问模式的建议。这些建议可以帮助优化系统的性能,尤其是在处理大块内存区域时。该函数允许应用程序告知内核如何管理特定范围内的虚拟内存页面。 其原型定义如下: ```c #include <sys/mman.h> int madvise(void *addr, size_t length, int advice); ``` 参数说明: - `addr`: 起始地址,必须是对齐到页大小的指针。 - `length`: 表示要操作的内存区域长度(字节数)。 - `advice`: 提供给内核的具体建议类型,常见的选项包括但不限于以下几种[^3]: - `MADV_NORMAL`: 默认行为,表示没有特殊的访问模式。 - `MADV_RANDOM`: 访问顺序随机,减少预读取。 - `MADV_SEQUENTIAL`: 访问顺序连续,增加预读取。 - `MADV_WILLNEED`: 应用程序即将频繁访问此区域,应优先加载这些页面。 - `MADV_DONTNEED`: 不再需要这些数据,可以释放对应的物理内存。 返回值:成功时返回0;失败则返回-1并设置相应的错误码。 当调用者希望改善某些特殊场景下的内存使用效率时,可以通过调整不同的`advice`来实现目标。例如,在大数据集上运行的应用可能受益于告诉内核哪些部分的数据不再重要从而被丢弃(`MADV_DONTNEED`)或者提前加载预计会使用的区块(`MADV_WILLNEED`)等策略[^4]。 需要注意的是,并不是所有的`advice`都会被执行——具体取决于当前平台支持情况以及实际环境状态等因素影响下最终决定采取何种行动方案最为合适有效而已并非绝对强制遵循所给定指示内容本身含义解释而已罢了而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而已而
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值