malloc 和 mmap

Keenkey6

已于 2025-03-07 15:34:27 修改

阅读量841

点赞数 18

分类专栏：内存相关文章标签： linux

于 2025-03-07 11:06:53 首次发布

本文链接：https://blog.youkuaiyun.com/qq_55655082/article/details/146090711

版权

内存相关专栏收录该内容

12 篇文章

订阅专栏

malloc 和 mmap 是 Linux 系统中用于动态内存管理的两种不同机制，它们在实现原理、适用场景和行为上有显著差异。以下是两者的详细对比和解析：

1. 基本概念

`malloc`

功能：C 标准库（如 glibc）提供的内存分配函数，用于从进程的 堆（Heap） 分配内存。
底层实现：
- 堆的扩展依赖 brk 或 sbrk 系统调用，或在大块内存需求时使用 mmap。
- 内存管理库（如 glibc 的 ptmalloc、jemalloc）维护堆的内部结构（如空闲链表、分割/合并块等）。

`mmap`

功能：系统调用，用于将一段进程地址空间映射到文件或匿名内存（MAP_ANONYMOUS）。
底层实现：
- 通过 mmap 系统调用直接向内核申请虚拟地址空间，内核负责分配物理页或文件映射。
- 匿名映射可能使用 brk 或独立的物理页（如透明大页）。

2. 核心对比

（1）内存分配区域

特性	`malloc`	`mmap`
分配区域	堆（Heap）	匿名映射或文件映射的独立内存区域
连续性要求	分配内存是连续的	映射区域是独立的，与其他内存不连续
地址空间管理	内部维护堆的连续扩展	内核直接分配独立的虚拟地址区间

（2）释放机制

特性	`malloc`	`mmap`
释放函数	`free`	`munmap`
释放后的影响	内存标记为“空闲”，可能合并碎片	地址空间立即释放，不可恢复
显式释放	必须显式调用 `free`	必须显式调用 `munmap`

（3）性能与碎片化

malloc：
- 优点：小块内存分配高效，内部缓存和分割机制减少系统调用开销。
- 缺点：长期使用可能导致内存碎片（尤其是频繁分配/释放不同大小的块）。
mmap：
- 优点：大块内存分配（如 >256KB）更高效，避免堆碎片。
- 缺点：小块分配可能浪费内存（每个 mmap 分配至少一页）。

（4）地址对齐

malloc：默认对齐到 max_align_t（通常是 8 或 16 字节，取决于架构）。
mmap：默认对齐到页边界（如 4KB），可通过 MAP_ALIGNED 标志调整。

（5）安全性与隔离

malloc：
- 堆内存与其他进程共享（通过 fork 复制），存在堆污染风险。
- 内部数据结构（如空闲链表）可能被破坏导致崩溃。
mmap：
- 每个 mmap 分配的区域独立，隔离性更好。
- 不存储内部元数据，减少攻击面（如堆喷射攻击）。

3. 典型使用场景

`malloc` 的适用场景

常规动态内存分配：如 malloc(100) 分配小块内存。
需要频繁分配/释放的场景：通过内部缓存减少系统调用开销。
与标准库函数兼容：如 calloc、realloc 依赖 malloc 内部逻辑。

`mmap` 的适用场景

大块内存分配：如分配超过几百 KB 的内存（避免堆碎片）。
文件映射：将文件内容直接映射到内存（如内存数据库、缓存）。
匿名大页分配：通过 MAP_HUGETLB 请求透明大页（如 2MB）。
进程间共享内存：使用 MAP_SHARED 实现进程间通信（IPC）。

4. 内核实现细节对比

（1）堆扩展（`malloc` 的后端）

小内存分配：
- 内部通过 brk 扩展堆，或从预分配的内存池（arena）中分配。
- 通过 ptmalloc 的 malloc_state 结构维护空闲块链表。
大内存分配：
- 当请求超过阈值（如 M_MMAP_THRESHOLD, 默认 128KB）时，malloc 直接调用 mmap 分配独立内存块。

（2）`mmap` 的匿名映射

物理页分配：
- 匿名映射的物理页在首次访问时通过缺页异常触发分配。
- 内核分配物理页并清零（MAP_ANONYMOUS）。
内存释放：
- munmap 直接解除映射，物理页可能立即归还系统。

5. 关键差异总结

维度	`malloc`	`mmap`
系统调用	依赖 `brk` 或 `mmap`（间接）	直接调用 `mmap` 系统调用
内存区域管理	堆的连续扩展	独立的虚拟地址区间（与堆无关）
碎片化风险	高（堆碎片）	低（独立分配，无碎片）
释放后内存回收	可能延迟回收（依赖空闲列表）	立即回收
性能开销	小块分配快，大块可能慢	大块分配快，小块可能慢（页对齐浪费）
隔离性	低（堆与其他内存共享空间）	高（独立映射区域）
可调试性	需依赖内存分析工具（如 Valgrind）	更易追踪（独立映射）

6. 示例代码对比

`malloc` 示例

#include <stdlib.h>

void *ptr = malloc(100); // 分配 100 字节
if (!ptr) {
    perror("malloc failed");
}
// 使用后必须显式释放
free(ptr);

`mmap` 示例（匿名映射）

#include <sys/mman.h>

void *ptr = mmap(NULL, 4096, PROT_READ | PROT_WRITE, MAP_ANONYMOUS | MAP_PRIVATE, -1, 0);
if (ptr == MAP_FAILED) {
    perror("mmap failed");
}
// 使用后必须显式释放
munmap(ptr, 4096);

7. 实际应用中的选择建议

使用 malloc 的情况：
- 需要频繁分配/释放小内存块。
- 需要与标准库函数（如 realloc）兼容。
- 期望由内存管理库自动处理碎片和内存优化。
使用 mmap 的情况：
- 分配大块内存（如 >256KB）以避免堆碎片。
- 需要将文件直接映射到内存（如读取二进制文件）。
- 需要进程间共享或隔离的内存区域。
- 需要精确控制内存对齐或分配独立地址空间。

8. 注意事项

避免混用 free 和 munmap：
- 通过 malloc 分配的内存必须用 free 释放。
- 通过 mmap 分配的内存必须用 munmap 释放。
内存过量分配（Overcommit）：
- malloc 默认允许可承诺内存（实际分配可能延迟到写入时）。
- mmap 的匿名映射同样受过量分配控制。
大页优化：
- mmap 可结合 MAP_HUGETLB 直接申请大页，而 malloc 需依赖内核透明大页机制（THP）。