高效使用内存：掌握Linux中的堆管理技巧

本文链接：https://blog.youkuaiyun.com/ShuShengTuM/article/details/146282369

在 Linux 系统构建的数字世界里，内存堪称最珍贵的资源之一。从运行在服务器上的大型应用程序，到日常使用的桌面软件，它们的高效运行都高度依赖内存的合理调配。而在内存管理的庞大体系中，堆管理扮演着极为关键的角色。它就像一位幕后管家，默默打理着动态内存分配的大小事务。

今天，让我们一同深入 Linux 的内核深处，去探寻堆管理的奥秘，掌握那些能让我们高效利用内存的实用技巧，为优化程序性能、提升系统稳定性打下坚实基础。

一、Linux内存管理：为何重要？

在数字化时代，服务器作为数据处理和存储的核心，其性能直接影响着业务的正常运转。想象一下，一个电商平台在促销活动期间，大量用户同时访问，服务器需要快速响应各种请求，如商品查询、订单处理等。若服务器的 Linux 内存管理出现问题，导致内存分配不合理或内存泄漏，就会使服务器性能急剧下降，页面加载缓慢，甚至出现系统崩溃，给用户带来极差的体验，也会给商家造成巨大的经济损失。

从程序运行效率提升的角度来看，以一个大型数据库管理系统为例，它需要频繁地读写数据。如果内存管理能够合理地将常用数据缓存到内存中，减少磁盘 I/O 操作，就能大大提高数据的访问速度，从而提升整个数据库系统的运行效率。再比如，对于一个机器学习训练任务，它需要处理大量的数据和复杂的计算，高效的内存管理可以确保数据能够及时加载到内存中，避免因内存不足导致频繁的磁盘交换，从而加速模型的训练过程。

二、Linux内存布局

2.1虚拟地址空间与物理地址空间

在 Linux 系统中，虚拟地址空间和物理地址空间是两个关键概念。虚拟地址空间是每个进程看到的内存地址范围，它为进程提供了一种抽象，让进程感觉自己拥有独立且连续的内存空间。就像一个大图书馆，每个进程都像是在使用自己的索引卡片来查找书籍（内存数据），这些索引卡片上的编号就是虚拟地址。

物理地址空间则是实际的硬件内存地址范围，是内存芯片上真实存储数据的位置。可以将其看作图书馆中书架的实际位置编号。虚拟地址与物理地址之间通过内存管理单元（MMU）进行映射，这种映射关系就如同索引卡片编号与书架实际位置编号之间的对应关系，使得进程能够通过虚拟地址找到物理内存中真正存储数据的地方。

2.2 64位Linux的虚拟地址空间划分

在 64 位 Linux 系统中，虚拟地址空间被划分为用户空间和内核空间。用户空间用于运行用户进程，其地址范围通常是从 0x0000 0000 0000 0000 到 0x0000 FFFF FFFF FFFF ，这为用户进程提供了广阔的地址范围，可满足各种应用程序的需求。用户空间中的进程在运行时受到内核的保护和管理，不能直接访问内核空间的资源。

内核空间则用于运行 Linux 内核，其地址范围是从 0xFFFF 0000 0000 0000 到 0xFFFF FFFF FFFF FFFF 。内核空间是操作系统的核心部分，负责管理系统资源、进程调度、内存管理等关键任务。所有进程共享内核空间，内核在其中执行各种特权操作，保障系统的稳定运行。

2.3用户空间的内存布局

如图所示我们可以看到，内存除了内核区与保留区，我们平时用到的分为五大区域，地址由高到低分别是栈区, 堆区, 未初始化数据区, 已初始化数据区, 代码段区，下面我们分别来介绍这五大区域：

栈(Stack)：栈内存由编译器在程序编译阶段完成，进程的栈空间位于进程用户空间的顶部并且是向下增长，每个函数的每次调用都会在栈空间中开辟自己的栈空间，函数参数、局部变量、函数返回地址等都会按照先入者为栈顶的顺序压入函数栈中，函数返回后该函数的栈空间消失，所以函数中返回局部变量的地址都是非法的。
堆(Heap)：堆内存是在程序执行过程中分配的，用于存放进程运行中被动态分配的的变量，大小并不固定，堆位于非初始化数据段和栈之间，并且使用过程中是向栈空间靠近的。当进程调用 malloc 等函数分配内存时，新分配的内存并不是该函数的栈帧中，而是被动态添加到堆上，此时堆就向高地址扩张；当利用free 等函数释放内存时，被释放的内存从堆中被踢出，堆就会缩减。因为动态分配的内存并不在函数栈帧中，所以即使函数返回这段内存也是不会消失。
未初始化数据段（.bss）：用来存放未初始化的全局变量和 static 静态变量。并且在程序开始执行之前，就是在 main()之前，内核会将此段中的数据初始化为 0 或空指针。
已初始化数据段(.data)：通常将已初始化数据是在程序中声明，并且具有初值的变量，这些变量需要占用存储器的空间，在程序执行时它们需要位于可读写的内存区域内，并具有初值，以供程序运行时读写。一般用来已初始化的全局变量和 static 静态变量。
文本段也称代码段：这是可执行文件中由 CPU 执行的机器指令部分。正文段常常是只读的，以防止程序由于意外而修改其自身的执行。

内存布局编程代码

接下来我们编写并运行下面C程序，验证一下C程序编译以及运行时的进程内存布局：

#include <stdio.h>
#include<stdlib.h>
intg_var1;//g_var1是为未初始化的全局变量，存放在数据段的BSS区，其值默认为0；
intg_var2;//g_var2是初始化了的全局变量，存放在数据段的DATA区，其值为初始化值20
intmain(intargc,char**argv)
{
    staticints_var1;//s_var1是未初始化的静态变量 ，存放在数据段的BSS区，其默认值为0
    staticints_var2=10;//s_var2是初始化的静态变量，存放在数据段的DATA区，其值为初始化值10
    char   *str="hello";//str是初始化了的局部变量，存放在栈(STACK)中，其值是"Hello"这个字符串常量存放在DATA段里RODATA区中的地址
    char   *ptr;//ptr是未初始化了的局部变量，存放在栈中，其值为随机值，这时候的ptr称为“野指针(为初始化的指针)"
    ptr=malloc(100);// malloc()会从堆(HEAP)中分配100个字节的内存空间，并将该内存空间的首地址返回给ptr存放；

    printf("[cmd args]: argv address: %p\n",argv);
    printf("\n");
    printf("[ Stack]: str address: %p\n",&str);
    printf("[ Stack]: ptr address: %p\n",&ptr);
    printf("\n");
    printf("[ Heap ]: malloc address: %p\n",ptr);
    printf("\n");
    printf("[ bss ]: s_var1 address: %p value: %d\n",&s_var1,g_var1);
    printf("[ bss ]: g_var1 address: %p value: %d\n",&g_var1,g_var1);
    printf("[ data ]: g_var2 address: %p value: %d\n",&g_var2,g_var2);
    printf("[ data ]: s_var2 address: %p value: %d\n",&s_var2,s_var2);
    printf("[rodata]: \"%s\" address: %p \n",str,str);
    printf("\n");
    printf("[ text ]: main() address: %p\n",main);
    printf("\n");
    
    return0;
}

代码运行结果

结果分析：通过上面代码的地址，我们可以发现，在内存中，从低地址向高地址，依次是文本段、文字常量段、已初始化数据段、未初始化数据段、堆区域和栈区域。

Linux的堆管理机制

堆在进程中扮演着动态分配内存的关键角色，是程序运行时按需获取内存的重要区域。在许多程序中，我们经常会遇到需要动态分配内存的情况。例如，在一个数据库管理系统中，当需要存储大量的用户数据时，无法预先确定数据的具体数量和大小，这时就需要使用堆来动态分配内存，以满足不同数据量的存储需求。

再比如，在一个图形处理程序中，处理复杂的图像数据时，需要根据图像的分辨率、颜色深度等动态分配内存来存储图像信息。堆的存在使得程序能够根据实际需求灵活地获取和释放内存，大大提高了程序的适应性和效率。

3.1堆管理的关键数据结构

(1)mm_struct 结构

mm_struct 结构在管理进程虚拟地址空间中起着核心作用，它描述了进程的整个虚拟地址空间。在这个结构中，与堆相关的成员包括 start_brk 和 brk 。start_brk 表示堆内存的起始地址，brk 表示堆内存的终止地址。通过这两个成员，内核可以有效地管理堆的范围，控制堆的扩展和收缩。例如，当程序调用malloc函数分配内存时，内核会根据当前堆的状态，通过调整 start_brk 和 brk 的值来为程序分配新的内存空间。

(2)vm_area_struct 结构

vm_area_struct 结构用于描述虚拟内存区域，每个进程的虚拟地址空间由多个这样的区域组成。在堆管理中，它描述了堆所在的虚拟内存区域。其成员 vm_start 和 vm_end 分别指定了堆区域在虚拟地址空间中的起始和结束地址，vm_flags 则包含了该区域的访问权限和其他标志信息，如是否可写、是否共享等。这些信息对于内核正确管理堆内存的访问和使用至关重要。例如，当程序试图访问堆内存时，内核会根据 vm_area_struct 结构中的信息来检查访问是否合法。

(3)malloc_chunk 结构

malloc_chunk 结构是堆管理中的基本单元，它表示堆块。该结构包含了多个重要成员，mchunk_prev_size表示前一个堆块的大小（当前一个堆块为空闲时），mchunk_size表示当前堆块的大小，包括头部和数据部分，并且其低 3 位被用作标志位，分别表示是否属于主线程、是否通过 mmap 分配以及前一个堆块是否被使用。fd和bk指针用于将空闲堆块链接成双向链表，以便在内存分配和释放时快速查找和管理空闲堆块。在堆内存分配过程中，malloc 函数会根据申请的内存大小，在空闲堆块链表中查找合适的堆块，并通过调整这些成员的值来完成内存分配和链表的更新。

3.2堆内存的分配与释放过程

(1)malloc 函数

malloc 函数是 C 语言中用于动态分配堆内存的常用函数。当程序调用 malloc 函数时，它首先会在堆的空闲内存块列表中查找是否有足够大小的空闲块。如果找到合适的空闲块，malloc 会根据需要对其进行分割，将一部分内存分配给程序，同时更新空闲内存块列表和相关数据结构。如果空闲内存块列表中没有足够大小的空闲块，malloc 会根据分配的内存大小来决定使用 brk 系统调用扩展堆（当分配的内存较小时），还是使用 mmap 系统调用从内存映射段分配内存（当分配的内存较大时）。在一个处理大量数据的程序中，频繁调用 malloc 函数来分配内存，malloc 函数会高效地管理空闲内存块，尽量避免内存碎片化，以提高内存的利用率和程序的性能。

(2)free 函数

free 函数用于释放通过 malloc 等函数分配的堆内存。当调用 free 函数时，它会将释放的内存块标记为空闲，并尝试将其与相邻的空闲内存块合并，以减少内存碎片。具体来说，free 函数会找到该内存块在堆中的位置，修改其状态标志为空闲，并检查其前后相邻的内存块是否也为空闲状态。如果相邻内存块为空闲，则将它们合并成一个更大的空闲内存块，然后更新空闲内存块列表和相关数据结构。通过这种方式，free 函数能够有效地回收不再使用的内存，使这些内存可以被重新分配给其他需要的程序部分，提高内存的使用效率。

3.3brk 和 mmap 系统调用

(1)brk 系统调用

brk 系统调用通过移动堆顶指针（即修改 mm_struct 结构中的 brk 成员）来扩展或收缩堆。当程序需要更多内存时，brk 系统调用会将堆顶指针向上移动，从而增加堆的大小，分配新的内存空间；当程序释放内存时，brk 系统调用可以将堆顶指针向下移动，收缩堆的大小。这种方式适用于分配较小的内存块，因为它的操作相对简单，开销较小。在一个小型的程序中，频繁地进行小块内存的分配和释放，使用 brk 系统调用可以快速地满足程序对内存的需求，并且不会产生过多的系统开销。

(2)mmap 系统调用

mmap 系统调用在堆管理中主要用于分配较大的内存块。它通过将文件或匿名内存区域映射到进程的虚拟地址空间来实现内存分配。mmap 系统调用的优势在于，它可以直接利用内存映射机制，将文件或其他内存对象映射到进程地址空间，使得程序可以像访问内存一样访问这些对象，提高了数据访问的效率。同时，对于分配较大内存块的场景，mmap 系统调用可以避免频繁地扩展和收缩堆带来的开销，减少内存碎片的产生。在大数据处理中，经常需要处理大规模的数据文件，使用 mmap 系统调用将文件映射到内存中，可以快速地读取和处理数据，提高数据处理的速度和效率。

四、案例分析：深入理解堆管理

4.1示例程序分析

下面来看一段简单的 C 语言示例程序，它展示了堆内存的分配和释放操作：

#include <stdio.h>
#include <stdlib.h>

int main() {
    // 分配堆内存
    int *ptr = (int *)malloc(10 * sizeof(int)); 
    if (ptr == NULL) {
        printf("内存分配失败\n");
        return 1;
    }

    // 使用分配的内存
    for (int i = 0; i < 10; i++) {
        ptr[i] = i;
        printf("%d ", ptr[i]);
    }
    printf("\n");

    // 释放堆内存
    free(ptr); 
    ptr = NULL; 

    return 0;
}

在这个程序中，首先使用malloc函数分配了 10 个int类型大小的内存空间，返回的指针ptr指向这块内存的起始地址。如果分配失败，malloc会返回NULL ，程序会输出错误信息并退出。接着，通过循环给分配的内存空间赋值，并打印出这些值。最后，使用free函数释放这块堆内存，并将指针ptr置为NULL ，防止悬空指针的出现。在这个过程中，堆内存从空闲状态被分配给程序使用，完成任务后又被释放回堆中，供其他程序部分再次分配使用。

4.2实际应用场景中的堆管理

在数据库管理系统中，堆管理起着至关重要的作用。数据库需要处理大量的数据存储和检索操作，堆内存用于存储各种数据结构，如索引、数据页等。以 MySQL 数据库为例，它使用 B + 树索引来加速数据的查询，B + 树节点以及存储的数据都需要在堆上分配内存。如果堆管理不善，导致内存碎片过多，就会影响索引的性能，进而降低整个数据库系统的查询效率。因此，数据库管理系统通常会采用一些优化策略，如定期进行内存整理，合并空闲内存块，以减少内存碎片，提高堆内存的利用率。

在 Web 服务器中，堆管理同样不可或缺。Web 服务器需要处理大量的并发请求，每个请求可能需要分配内存来存储请求数据、响应数据等。例如，Nginx 服务器在处理 HTTP 请求时，会为每个请求分配内存来存储请求头、请求体等信息。如果堆内存分配不合理，可能会导致内存耗尽，使服务器无法处理新的请求。为了优化堆管理，Web 服务器可以采用内存池技术，预先分配一定大小的内存池，当有请求到来时，直接从内存池中分配内存，避免频繁的系统调用和内存碎片的产生，从而提高服务器的性能和响应速度。