Linux内存管理20(基于6.1内核)(完结篇)

ListQueue

于 2024-12-04 16:40:27 发布

阅读量620

点赞数 19

分类专栏： Kernel 文章标签： linux java 服务器

本文链接：https://blog.youkuaiyun.com/zouhaicheng/article/details/144243828

版权

Kernel 专栏收录该内容

101 篇文章

订阅专栏

Linux内存管理20(基于6.1内核)---总结

一、内存管理概述

Linux 内存管理的核心目标是高效利用物理内存、避免内存浪费并确保进程之间的隔离。操作系统需要提供一个虚拟地址空间，使得每个进程都认为自己有足够的内存，而实际上物理内存可能远远不足以满足所有进程的需求。

1.1 内存结构

Linux 将内存分为多个层次，并根据内存的使用情况进行细致划分：

内存区段	描述
内核空间（Kernel Space）	供内核使用的内存区域，内核代码、数据、模块等。
用户空间（User Space）	供用户进程使用的内存区域，每个进程都有独立的虚拟内存空间。
物理内存（Physical Memory）	系统中实际存在的 RAM，硬件资源。
虚拟内存（Virtual Memory）	操作系统提供给进程的抽象内存，每个进程有独立的虚拟地址空间。

在 64 位系统中，内核空间的地址范围通常从高地址向低地址划分，而用户空间则占用较低的地址空间。通过虚拟内存管理，Linux 将虚拟地址映射到物理地址，使得进程在不直接操作物理内存的情况下仍能访问内存。

1.2 内存管理的基本目标

内存保护：保证不同进程之间的内存隔离，防止进程间互相干扰。
内存共享：允许多个进程共享某些内存区域，如共享内存、文件映射等。
内存高效利用：确保内存不被浪费，尽量减少碎片，提高内存的利用率。
内存回收：及时释放不再使用的内存，以应对内存紧张的情况。

二、内存的分配与映射

2.1 内存映射与页表

内存映射是 Linux 虚拟内存管理的核心机制。每个进程有一个虚拟地址空间，通过页表（Page Table）将虚拟地址映射到物理地址。操作系统通过分页技术（Paging）将虚拟地址分为固定大小的页面（Page），这些页面对应物理内存中的帧（Frame）。

页表结构

Linux 使用多级页表来管理虚拟地址到物理地址的映射。在 64 位系统中，常见的页表结构包括四级页表（PML4、PDPT、PDT 和页表项），每级页表记录上一级页表的地址，从而实现多级映射。

页表级别	描述
PML4	最上层页表，记录物理内存页表的位置。
PDPT	记录物理页表页的位置。
PDT	存储页表的具体物理地址，负责一页内存的映射。
Page Table	最底层的页表，存储每个虚拟页面对应的物理页面地址。

2.2 虚拟地址到物理地址的映射

Linux 通过页表将虚拟内存页映射到物理内存页。虚拟内存地址的每一位都参与映射的计算。例如，64 位系统中，虚拟地址空间被划分为多个段，每个段指向不同的内存区域，内核通过页表对这些段进行管理。

2.3 内存映射技术

分页（Paging）：通过分页将大块内存切分成小块进行管理。每个页的大小通常为 4KB，但可以通过大页面（Huge Pages）优化性能。
内存映射文件（Memory Mapped Files）：通过 mmap 系统调用，文件或设备可以被映射到进程的虚拟内存地址空间中。文件系统数据也能通过内存映射加速读写。

三、虚拟内存与物理内存

3.1 虚拟内存的优势

虚拟内存使得每个进程能够使用独立的内存空间，避免了进程间的干扰。虚拟内存可以通过以下方式提升性能：

内存隔离：每个进程都认为自己拥有完整的内存，不会直接访问其他进程的内存区域。
内存共享：不同进程可以共享某些内存区域，例如共享内存、文件映射等。
内存交换：当物理内存不足时，系统会将不常用的内存页面交换到磁盘，从而延迟内存耗尽。

3.2 物理内存管理

物理内存指的是计算机硬件上的实际内存（RAM）。Linux 管理物理内存的方式如下：

内存区域（Memory Zones）：将物理内存分为不同的区域，如 ZONE_DMA、ZONE_NORMAL 和 ZONE_HIGHMEM。
内存分配器：Linux 内核使用伙伴系统（Buddy System）和 Slab 分配器来高效管理物理内存。

四、内存分配器与策略

4.1 伙伴系统（Buddy System）

Linux 内核使用伙伴系统来管理物理内存。物理内存被分为大小为 2 的幂次方的块，这些块以伙伴的形式组织在一起。当内存分配请求较大时，操作系统会合并相邻的空闲块，减少内存碎片。

4.2 Slab 分配器

Slab 分配器用于内核中的内存分配。它通过对象池（Object Pooling）来减少内存碎片并提高分配效率。每个缓存池（Cache）专门管理某类对象的内存，如进程控制块（PCB）和文件描述符等。

4.3 内存池与页缓存

Linux 内核提供了多个内存池来管理不同类型的内存需求。比如，页缓存用于文件系统的缓存，减少磁盘 I/O 操作。

五、内存回收与垃圾回收

5.1 内存回收策略

内存回收是 Linux 在内存不足时采用的一项重要策略。内核会尝试回收不再使用的内存页，以释放空间。这些回收策略包括：

页面回收：回收被标记为不活跃的内存页。
Slab 缓存回收：清除不再使用的内核对象缓存。

5.2 内存交换（Swap）

当物理内存紧张时，Linux 会使用交换空间（Swap Space）将一些不活跃的内存页面转存到磁盘上，从而腾出更多的内存供进程使用。交换空间对于低内存环境至关重要，但频繁使用交换空间会显著影响系统性能。

六、内存优化机制

内存优化是操作系统为了提高性能和资源利用率所采取的一系列技术。Linux 内核采用了多个内存优化策略，来减少内存碎片、提高内存回收效率、降低内存压力等。

6.1 内存压缩（Zswap 和 Zswap）

内存压缩是将内存中的数据进行压缩，减少物理内存的使用。Linux 提供了几种压缩内存的技术：

Zswap：一种内存压缩机制，在交换到磁盘之前，将内存页面进行压缩，减少磁盘 I/O。
Zswap 和 Zswap+：增强型的 Zswap，采用更高效的压缩算法，如 LZ4 和 LZMA，用来减少内存占用并提高交换操作的效率。

6.2 HugePages（大页内存）

Linux 内核支持通过 HugePages（大页面）来优化内存管理。默认的内存页大小为 4KB，而 HugePages 可以通过更大的页面来减少页面表的开销，从而提高系统的内存效率。

HugePages 的优势：
- 减少 TLB（Translation Lookaside Buffer）失效，从而减少地址转换的开销。
- 减少内存碎片，提高内存分配的效率。
- 提高大规模内存应用（如数据库、虚拟化等）的性能。
使用 HugePages：可以通过 vm.nr_hugepages 参数配置 HugePages 的数量。

6.3 内存回收与垃圾回收

内存回收是操作系统在内存紧张时回收不再使用的内存资源的过程。Linux 使用以下几种技术来管理内存回收：

页面回收：当内存紧张时，Linux 会回收不活跃或被标记为“脏”的内存页，释放它们。
Slab 分配器回收：内核通过 Slab 分配器管理内核对象，定期清理不再使用的 Slab 缓存，减少内存占用。
内存碎片整理：通过内存碎片整理算法来合并相邻的空闲内存页，减少内存碎片，提高内存的利用率。

七、交换空间（Swap）与内存管理

7.1 交换空间（Swap）介绍

交换空间是指在物理内存不足时，Linux 将不活跃的内存页面移至磁盘上的交换区域。Swap 的引入使得系统即使在物理内存不足时也能继续运行，但频繁的交换操作会导致性能下降。

Swap 设备与 Swap 文件：
- Swap 设备：通常是一个分区或一个独立的磁盘设备，用作交换空间。
- Swap 文件：是使用文件系统中的普通文件来作为交换空间。它的灵活性较高，但性能略低于 Swap 设备。

7.2 Swap 的工作原理

当系统的物理内存不足时，内核会将一些不常用的页面（通过页面交换）转移到交换空间中，以便释放更多的物理内存给当前正在使用的进程。操作系统通过以下方式管理 Swap：

页面交换算法：Linux 内核使用 LRU（Least Recently Used，最近最少使用）算法来决定哪些页面最不活跃并将其交换到磁盘。
交换压力：当系统发现物理内存被严重占用时，Swap 的使用压力会增加，可能会导致性能下降。

7.3 Swap 的调优

控制 Swap 使用：使用 vm.swappiness 参数来调整系统使用 Swap 的频率。swappiness 值越大，表示系统越倾向于使用 Swap。常见的配置为 vm.swappiness = 60（默认值），在需要时可以增加或减少该值来调整系统的内存策略。
Swapiness 与内存压力：减少 swappiness 可以避免过度依赖 Swap，但如果物理内存非常紧张，增加 swappiness 可能有助于保持系统稳定。

7.4 swapoff 和 swapon

swapon：启用交换空间。
swapoff：禁用交换空间。为了避免因禁用交换空间导致的内存不足，可以在禁用之前确保足够的物理内存可用。

八、NUMA 与多核处理器内存优化

8.1 NUMA（非统一内存访问）架构

NUMA 是一种多处理器架构，其中每个处理器有自己的本地内存，并且可以访问其他处理器的内存。在 NUMA 系统中，访问本地内存比访问远程内存要快。Linux 内核通过优化内存访问策略，提高 NUMA 系统的性能。

8.2 NUMA 相关技术

NUMA 节点：NUMA 系统中的每个 CPU 配有一块内存，这些内存区域被称为 NUMA 节点。
内存亲和性（Memory Affinity）：Linux 使用内存亲和性来优化内存分配，尽可能将进程的内存分配到其运行的 CPU 的本地内存。
内存绑定：可以使用 numactrl 和 taskset 命令来将进程绑定到特定的 NUMA 节点，从而优化内存访问性能。

8.3 NUMA 内存分配策略

Preferred Node：操作系统将优先选择 NUMA 节点来分配内存，以便减少跨节点访问的延迟。
内存跨节点访问：当本地节点的内存不足时，系统会从远程 NUMA 节点分配内存，但这会引入额外的延迟。
内存亲和性调度：Linux 调度器会根据 CPU 与内存的亲和性，尽可能将任务安排在拥有本地内存的 CPU 上。

九、内存调优工具与参数

9.1 常用的内存调优工具

free：查看系统的内存使用情况，包括物理内存、交换空间的使用情况。
top/htop：实时监控内存的使用情况，并按进程显示内存占用。
vmstat：显示内核的虚拟内存统计信息，帮助分析内存的使用情况。
dmesg：查看内核日志，尤其是内存相关的错误和警告。

9.2 常用内存参数

vm.swappiness：控制系统倾向于使用 Swap 的程度。通常情况下，默认值为 60，增大该值可加速 Swap 的使用。
vm.overcommit_memory：控制内存超额分配策略。值为 0 时表示内核判断是否允许超额分配；值为 1 时表示允许超额分配；值为 2 时表示禁止超额分配。
vm.min_free_kbytes：设置最低可用内存的数量，防止系统过度交换。

十、Linux 6.x 内核的内存管理改进

随着 Linux 6.x 内核的推出，内存管理方面有了一些显著的改进：

支持更多的内存压缩算法：增强了对 Zswap 和 Zram 的支持，提升了内存压缩的性能。
增强的 NUMA 支持：通过更智能的内存分配策略，进一步优化了 NUMA 系统的内存亲和性和访问延迟。
更高效的内存回收机制：优化了 Slab 分配器和内存回收算法，减少了内存碎片。
内存保护和沙盒技术：增强了对进程内存的保护，包括 Memory Hotplug 支持，使得在运行时可以动态地添加和移除内存。

十一、Linux内存管理的未来展望

随着计算机技术的不断发展，Linux内存管理也将面临新的挑战和机遇。以下是对Linux内存管理未来展望的几点思考：

更高效的内存分配与回收算法：随着处理器和内存技术的不断进步，Linux内存管理需要不断优化内存分配与回收算法，以提高系统的性能和响应速度。
更强的内存保护与安全性：随着网络安全威胁的不断增多，Linux内存管理需要加强对内存的保护和安全性，以防止恶意程序的攻击和破坏。
更好的内存碎片管理：随着系统运行时间的增长，内存碎片问题将越来越突出。Linux内存管理需要进一步优化内存碎片管理策略，以减少内存碎片的产生并提高内存的利用效率。
更智能的内存管理策略：随着人工智能和机器学习技术的不断发展，Linux内存管理可以尝试引入更智能的内存管理策略，如基于预测的内存分配和回收等，以提高系统的自适应性和智能化水平。
更广泛的硬件支持：随着新型硬件设备的不断涌现，Linux内存管理需要加强对新型硬件设备的支持和优化，以充分发挥其性能优势。