Linux内存管理之内存域（Zones）

原创 已于 2023-08-20 08:48:21 修改 · 152 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

于 2023-08-14 21:50:50 首次发布
本文探讨了硬件对物理地址的限制，特别关注DMA情况下设备访问内存的问题。Linux通过内存域如Zones_DMA和Zones_Normal进行管理。不同平台对DMA的需求取决于硬件配置，内存域布局并非所有架构都统一。

        在通常情况下，硬件会限制能够访问的物理地址范围。

        在有些情况下，设备并不能直接访问所有的物理内存（DMA）。

        在另一些情况下，所需要的物理内存超过了虚拟内存最大可寻址的范围，这个时候就需要一些特殊的操作来访问内存了。Linux根据内存页面在设备中的用途将它们进行分组，这些分组称为域。例如Zones_DMA，包含用于DMA的设备的内存页面；Zones_Normal，包含正常寻址的页面。

        不同的平台对于DMA有不同的需求，内存域的实际布局依赖于硬件，并不是所有架构都有定义域，

Linux内存管理一（Linux内存组织与基本数据结构）
YH1363190的博客
07-09 880
Linux内存管理系列，持续更新中。。。
Linux内核 内存管理
fangwei1993的博客
05-25 506
一，概述 Linux内核一般将处理器的虚拟地址空间划分为两个部分。底部比较大的部分用于用户进程，顶部专用于内核。虽然（在两个用户进程之间的）上下文切换期间会改变下半部分，但是虚拟地址空间的内核部分总是保持不变。 有两种类型计算机，分别以不同的方法管理物理内存。 (1) UMA计算机 (一致内存访问，uniform memory access) 将可用内存以连续方式组织起来。SMP系统中的每个处理器访问各个内存区都是同样快。 (2) NUMA计算机(非一致性内存访问, non-uniform memo
Linux内存管理
12-14 3790
我的实验结论：#include #include #include int bss_var; int data_var0=1; int main(int argc,char **argv) { printf("below are addresses of types of process's mem\n"); printf("Text location:\n"); printf("\t
Linux内存描述之内存区域zone--Linux内存管理(三)
热门推荐
OSKernelLAB(gatieme)
08-31 2万+
日期 内核版本 架构 作者 GitHub 优快云 2016-08-31 Linux-4.7 X86 & arm gatieme LinuxDeviceDrivers Linux内存管理 1 前景回顾前面我们讲到服务器体系(SMP, NUMA, MPP)与共享存储器架构(UMA和NUMA)1.1 UMA和NUMA两种模型共享存储型多处理机有两种模型
linux内存伙伴算法(二：初始化内存域和数据结构)
云计算?
09-03 266
体系结构相关代码需要在启动期间建立以下信息： 1.系统中各个内存域的页帧边界，保存在max_zone_pfn中 2.个结点页帧的分配情况，保存在全局变量early_node_map中。 从内核版本2.6.10开始提供一个通用的框架，用于将上述信息转换为伙伴系统预期的结点和内存域数据结构。在这以前，各个体系结构必须自行建立相关结构。现在，体系结构相关代码只需要建立前述的简单结构，将繁重的工作留...
Linux虚拟内存空间分布
qq_18144747的博客
03-03 3992
1.程序和进程 问题：程序和进程各是什么? 程序只是一段可以执行的代码文件，通俗讲在 linux 上就是一个可执行文件。当一个程序运 行时就被称为进程，即进程是运行状态的程序。 程序存储了一系列文件信息，这些信息描述了如何在运行时创建一个进程，包含了下面的内容： 二进制格式标识：　　描述可执行文件的元信息，内核利用该信息解释文件中的其他信息 机器语言指令： 　　对程...
Linux内存描述之高端内存--Linux内存管理(五)
OSKernelLAB(gatieme)
08-31 1万+
日期 内核版本 架构 作者 GitHub 优快云 2016-08-31 Linux-4.7 X86 & arm gatieme LinuxDeviceDrivers Linux内存管理 http://blog.youkuaiyun.com/vanbreaker/article/details/75799411 前景回顾前面我们讲到服务器体系(SMP, NUMA, M
Linux 物理内存管理涉及的三大结构体之struct zone
weixin_45337360的博客
03-13 2919
本文主要介绍了内存管理三大结构体中的struct zone结构体。详细介绍了其中的每个参数的含义。其中这些参数：_watermark[]，lowmem_reserve[]，pageset，lock，vm_stat[]，free_area[]和内存规整系列参数是相对重要。在日常中经常能够遇到。如free_area[]是struct zone的核心，也是buddy system的核心结构；vm_stat[]统计了该zone的内存使用情况；内存规整参数在内存规整/压缩中有重要作用。
linux内存细节 内存管理初始化概述
生活需要深度
04-04 1594
在内存管理的上下文，初始化可以有多重含义。在许多CPU上，必须显式设置适用于Linux内核的内存模型。文章给出了linux系统设计的初始化阶段设计的内存接口与函数。 1. 基本概念 1.1. linux内存管理的层次结构 linux把物理内存划分为三个层次来管理，分别是存储节点，管理区和页面。 层次 描述 存储节点（Node） CPU被划分为多个节点（node），内存则被分簇，每个CPU对一个本地物理内存，即一个CPU-node对应一个内存簇bank，即每个内存簇被认为是一个节点
Linux内存管理笔记
05-07
每个结点又细分为不同的内存域（zones），以支持不同类型内存管理。 内存域划分：在Linux内核中，虚拟地址空间分为用户空间和内核空间。用户空间占据0~3GB的地址空间，内核空间占据3~4GB。内核空间进一步细分为ZONE...
Linux内存域管理
Sherlock的博客
05-03 556
Linux作为通用硬件内核，在内存管理上如何实现通用且高效。在前面Linux内存分段分页一篇我们主要讲解Linux内核进行物理地址逻辑地址线性地址的抽象映射，犹如在蛮荒之地为各家各户划分领土，像极了土地改革。考虑一个国家的土地治理过程，在建国初期，百废待兴，内存资源如同土地资源一样，珍贵有限。如何进行土地改革是国之大事关系到国家的规划建设和发展，内存管理如是，如何进行内存管理规划关系到系统的整体规划和发展。正如土改给每家每户划分土地一样，内核将内存按地址划分，通过虚拟地址编排每个内存地址都被规划到页表当中。
【Linux内存管理（二）物理内存管理】
huyaya123的博客
10-18 1429
本文仅为个人整理记录用，具体学习本人参考了“bin的技术小屋”，讲的通俗易懂，图文结合非常好，推荐大家细度。
Linux内存管理原理
Roger_Hoo 的博客
02-22 5823
=============================硬件原理及分页管理===============================1.分页机制    分页机制是现代CPU实现内存寻址的一种机制(早期的intel芯片内存寻址实现机制有分段机制)；    早期的CPU对内存的寻址是直接对物理内存(内存条)进行寻址，但这种在intel保护模式及现代CPU中已经很少使用，现代的CPU不会直接对物理...
Nmap 完整教学与 Linux 指令详解
2401_84359179的博客
01-03 1636
总结：Nmap 是网络安全领域的"瑞士军刀"，掌握 `-sS`、`-sV`、`-O`、`-A`、`-p`、`-T`、 `--script` 这 7 大核心参数，即可应对 90% 的扫描场景。1.权限 ：SYN 扫描 (`-sS`)、OS 检测 (`-O`)、UDP 扫描 (`-sU`) 需要 root 权限。3. 防火墙：现代 IDS/IPS 能检测 Nmap 扫描特征，需配合 `-T2`、`-f`、`-D` 等规避。初学者 ：从 `-sT`、`-sV`、`-p` 开始，逐步学习高级选项。
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 341
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
LINUX modprobe 智能加载和卸载内核模块
最新发布
xingzhemengyou1的博客
01-06 325
摘要：modprobe是Linux系统中智能管理内核模块的核心命令，能自动处理模块依赖关系。它通过读取depmod生成的modules.dep文件，实现模块的智能加载/卸载，失败时自动回滚。常用参数包括-r卸载、v显示详情、c查看配置等。相比insmod/rmmod等低级命令，modprobe更安全高效。系统通过/etc/modprobe.d/配置模块参数，使用时应避免强制操作。该命令是Linux模块管理的首选工具。
Linux磁盘占用分析指南
哈喽。
01-06 269
Linux磁盘占用分析指南摘要 本文全面介绍了Linux系统中分析磁盘占用的多种方法。基础命令包括du（显示目录大小）和df（显示文件系统使用情况），配合-h参数可人性化显示。高级工具推荐ncdu（交互式分析）和gt5（历史对比）。文章提供了实用脚本：查找大文件、目录分析报告和磁盘监控脚本，并介绍了可视化工具filelight和baobab。最佳实践建议定期清理、监控使用率、压缩归档大文件。常见问题解决方案包括处理已删除但未释放的文件和权限问题。通过合理组合这些工具，可高效管理Linux磁盘空间。
Linux 文件系统一致性: 从崩溃恢复到 Journaling 机制
X
01-06 291
文件系统一致性指的是磁盘上的数据结构和内存中的视图保持同步, 满足特定的不变式（invariants）. 简单理解就是: 无论何时中断, 文件系统都能恢复到一个合法的状态inode 位图（标记该 inode 为空闲）数据块位图（标记数据块为空闲）父目录项（删除目录条目）如果只完成了其中一两步就掉电, 文件系统就进入了不一致状态: 可能 inode 仍被标记为占用, 但对应的数据块已被清空, 导致垃圾文件占据磁盘空间维度挑战解决方案可靠性掉电/崩溃导致数据不一致。
哪些情况会触发内存直接回收
06-19
<think>我们正在讨论Linux内核的内存直接回收（DirectReclaim）机制。用户的问题非常明确：当memfree（空闲内存）低于min水位线时，如何处罚（触发）内存直接回收，并需要代码过程。根据之前的讨论，我们已经知道：-min水位线是系统保留的最小空闲内存，由vm.min_free_kbytes设置。-当空闲内存低于min时，会触发直接回收（在进程上下文中同步执行）。现在，我们需要深入代码层面，展示从检测到空闲内存低于min水位线到触发直接回收的完整过程。代码路径：1.内存分配路径（pageallocation）是触发直接回收的起点。当内核尝试分配内存页（通过alloc_pages系列函数）时，如果快速分配失败（即当前空闲内存不足），就会进入慢速路径（slowpath），在慢速路径中会触发直接回收。2.慢速路径中，会调用__alloc_pages_slowpath()函数，该函数在满足条件时会触发直接回收。3.直接回收的核心函数是try_to_free_pages()，它通过设置扫描控制结构（structscan_control）并调用do_try_to_free_pages()来执行回收。详细步骤：步骤1：内存分配时检查水位线在快速分配路径中，会通过get_page_from_freelist()函数尝试在各个内存域（zone）中分配页面。在该函数中，会调用zone_watermark_fast()或zone_watermark_ok()来检查当前zone的水位线是否满足分配要求。如果不满足，则快速分配失败，进入慢速路径。步骤2：慢速路径中触发直接回收在慢速路径（__alloc_pages_slowpath()）中，如果分配标志（gfp_mask）允许直接回收（即设置了__GFP_DIRECT_RECLAIM），则会调用__alloc_pages_direct_reclaim()，进而调用perform_reclaim()，最终调用try_to_free_pages()。步骤3：执行直接回收try_to_free_pages()函数设置扫描控制结构（structscan_control），然后调用do_try_to_free_pages()。该函数会遍历内存域，对每个内存域进行页面回收（shrink_zones()），然后通过shrink_node()进行节点级别的回收，最终调用shrink_node_memcgs()对每个内存控制组进行回收，并调用shrink_lruvec()扫描LRU链表。步骤4：LRU链表扫描和页面回收在shrink_lruvec()中，内核会按照优先级（priority）扫描LRU链表（包括活动和非活动的匿名页和文件页），将可以回收的页面写回（如果是脏页）或丢弃（如果是干净页），并释放页面。代码示例：我们来看关键函数的代码（基于Linux内核5.x版本）：1.快速分配路径中检查水位线（mm/page_alloc.c）：```cstaticstructpage*get_page_from_freelist(gfp_tgfp_mask,unsignedintorder,intalloc_flags,conststructalloc_context*ac){...for_each_zone_zonelist_nodemask(zone,z,ac->zonelist,ac->high_zoneidx,ac->nodemask){if(!zone_watermark_fast(zone,order,mark,ac->high_zoneidx,alloc_flags)){...continue;}...//如果水位线检查通过，则尝试分配页面page=rmqueue(ac->preferred_zoneref->zone,zone,order,gfp_mask,alloc_flags,ac->migratetype);if(page){...returnpage;}}returnNULL;}```2.慢速路径中触发直接回收（mm/page_alloc.c）：```cstaticinlinestructpage*__alloc_pages_slowpath(gfp_tgfp_mask,unsignedintorder,structalloc_context*ac){...if(gfp_mask&__GFP_DIRECT_RECLAIM){...page=__alloc_pages_direct_reclaim(gfp_mask,order,alloc_flags,ac,&did_some_progress);if(page)gotogot_pg;...}...}```3.直接回收入口（mm/vmscan.c）：```cunsignedlongtry_to_free_pages(structzonelist*zonelist,intorder,gfp_tgfp_mask,nodemask_t*nodemask){unsignedlongnr_reclaimed;structscan_controlsc={.nr_to_reclaim=max(SWAP_CLUSTER_MAX,high_wmark_pages(zone)),.gfp_mask=(gfp_mask=memalloc_noio_flags(gfp_mask)),.reclaim_idx=gfp_zone(gfp_mask),.order=order,.priority=DEF_PRIORITY,.may_writepage=!laptop_mode,.may_unmap=1,.may_swap=1,};nr_reclaimed=do_try_to_free_pages(zonelist,&sc);returnnr_reclaimed;}```4.扫描LRU链表（mm/vmscan.c）：```cstaticvoidshrink_lruvec(structlruvec*lruvec,structscan_control*sc){...while(nr[LRU_INACTIVE_ANON]||nr[LRU_ACTIVE_FILE]||nr[LRU_INACTIVE_FILE]){unsignedlongnr_anon,nr_file,percentage;unsignedlongnr_scanned;for_each_evictable_lru(lru){if(nr[lru]){nr_to_scan=min(nr[lru],SWAP_CLUSTER_MAX);nr[lru]-=nr_to_scan;nr_reclaimed+=shrink_list(lru,nr_to_scan,lruvec,sc);}}...}...}```在shrink_list()函数中，会根据页面的类型（匿名页或文件页）以及活动状态决定如何回收。例如，对于非活动的文件页（如果是干净的）可以直接释放，脏页需要写回后再释放；对于匿名页，则需要通过交换（swap）来回收。总结触发条件：1.内存分配请求到达，且快速分配路径无法满足（即当前空闲内存低于水位线要求）。2.分配标志允许直接回收（__GFP_DIRECT_RECLAIM）。3.当前空闲内存低于min水位线（在慢速路径中，可能还会检查其他条件，但水位线是根本原因）。注意：min水位线是动态计算的，可以通过/proc/zoneinfo查看每个zone的min、low、high水位线。监控方法：-使用`cat/proc/zoneinfo`查看当前内存域的水位线和空闲内存。-使用`dmesg`查看内核日志，当直接回收发生时，可能会有相关日志（取决于内核配置）。调整方法：-调整vm.min_free_kbytes：`sysctl-wvm.min_free_kbytes=65536`（设置为64MB）-调整vm.watermark_scale_factor：影响low和high水位线与min之间的间隔。最后，回答用户的问题：当memfree低于min时，在内存分配过程中，通过上述代码路径触发直接回收。直接回收是同步的，会阻塞当前进程，直到回收足够的内存以满足分配请求（或者回收失败，触发OOM）。</think>### Linux内存直接回收触发条件与代码实现 #### 一、触发核心条件 当系统空闲内存(`memfree`)低于最低水位线(`min`)时，Linux内核会**立即触发直接回收**。这是通过内核的内存水位线机制实现的，其核心逻辑为： $$ \text{触发条件} : \quad \text{free\_pages} < \text{min\_free\_pages} $$ 其中`min_free_pages`由`vm.min_free_kbytes`参数计算得出，默认公式为： $$ \text{min\_free\_kbytes} = \sqrt{\text{total\_memory}} \times 16 \div 4 \quad \text{(单位: KB)} $$ 可通过`sysctl -w vm.min_free_kbytes=65536`手动调整[^3]。 #### 二、代码执行过程 完整触发路径在内存分配失败路径中实现，主要代码位于`mm/page_alloc.c`和`mm/vmscan.c`： 1. **水位线检查**（分配路径） ```c // mm/page_alloc.c static struct page *get_page_from_freelist(...) { // 检查当前zone是否满足水位线要求 if (!zone_watermark_fast(zone, order, mark, ...)) { return NULL; // 快速分配失败 } ... } ``` 当`zone_watermark_ok()`检测到空闲页低于`min`时返回`false`，触发慢速分配路径[^1]。 2. **慢速分配路径入口** ```c // mm/page_alloc.c __alloc_pages_slowpath(gfp_t gfp_mask, ...) { // 检查是否允许直接回收 if (gfp_mask & __GFP_DIRECT_RECLAIM) { // 触发直接回收 page = __alloc_pages_direct_reclaim(...); } ... } ``` 3. **直接回收核心函数** ```c // mm/vmscan.c unsigned long try_to_free_pages(...) { struct scan_control sc = { .nr_to_reclaim = SWAP_CLUSTER_MAX, // 每次回收页数 .gfp_mask = gfp_mask, // 包含__GFP_DIRECT_RECLAIM .priority = DEF_PRIORITY, // 回收优先级 .may_writepage = 1, // 允许写回脏页 .may_swap = 1, // 允许交换匿名页 }; return do_try_to_free_pages(zonelist, &sc); } ``` 4. **LRU页面扫描** ```c // mm/vmscan.c static void shrink_lruvec(...) { // 按优先级扫描LRU链表 for_each_evictable_lru(lru) { // 优先回收非活动页 if (lru == LRU_INACTIVE_ANON || lru == LRU_INACTIVE_FILE) { shrink_list(lru, nr_to_scan, ...); } } } ``` 回收优先级：非活动匿名页 > 非活动文件页 > 活动页[^4]。 #### 三、关键机制说明 1. **同步执行**：直接回收在**进程上下文同步执行**，导致请求进程阻塞 2. **回收目标**： - 文件页：直接丢弃干净页，写回脏页后回收 - 匿名页：通过交换到swap空间回收 3. **终止条件**： - 回收足够页面满足当前分配请求 - 达到`SWAP_CLUSTER_MAX`页数限制 - 扫描完所有LRU链表仍无法回收足够页面 #### 四、验证与监控 1. **查看水位线**： ```bash $ cat /proc/zoneinfo | grep -E "min|low|high|free" ``` 输出示例： ``` min 5 low 6 high 7 free 4 # 当free<min时触发回收 ``` 2. **观察回收行为**： ```c // 测试程序：持续分配内存直到触发回收 #include <stdlib.h> int main() { while(1) malloc(1024*1024); // 每次分配1MB } ``` 运行后通过`dmesg`观察内核日志："`page allocation failure: direct reclaim`"。 #### 五、特殊场景处理 1. **内存碎片**： ```c // mm/page_alloc.c if (order > 0 && (gfp_mask & __GFP_DIRECT_RECLAIM)) page = __alloc_pages_direct_compact(...); // 先尝试内存压缩 ``` 当大块内存分配失败时，会先尝试内存压缩再触发回收。 2. **OOM Killer**： ```c // mm/oom_kill.c if (!try_to_free_pages(...) && out_of_memory(...)) { oom_kill_process(...); // 回收失败触发OOM } ``` 当直接回收无法释放足够内存时，触发OOM Killer[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值