Linux 2.6 中的页面回收与反向映射

在Linux 2.4.x内核中,如何从一个page找到所有映射该页面的VMA?反向映射可以带来哪些便利? 2.4.x内核中要查找映射特定页面的VMA是相对低效的,需要通过遍历进程和页表实现。查找映射页面的VMA O(N^2) 遍历所有进程和页表 通过struct page->mapping直接访问 性能从O(N)提升到O(1)在Linux 2.4.x中,没有直接的方法可以从一个struct page找到所有映射它的VMA。通过理解反向映射的演变,我们可以更好地把握Linux内存管理的设计哲学,以及为现代大型系统设计高效数据结构的重要性。进程映射页面时,调用page_add_rmap()添加反向映射项。 阅读详情

引用网址:http://rritw.com/a/caozuoxitong/Linux/20110617/89155.html

为什么要进行页面回收

操作系统管理内存中的物理页面,同时也担任着内存分配的职责。应用程序可以通过内存分配函数向操作系统申请物理页面;在使用完这些物理页面之后,应用程序可以通过相应的内存释放函数释放这些物理页面。但是,对于内存中的某些物理页面来说,页面的使用者并不会主动释放它们,如果这些物理页面一直被占用而得不到释放,那么无论计算机上可用的物理内存有多少,物理内存迟早都有被用完的时候。所以,对于无法被主动释放的物理页面来说,操作系统就需要提供相应的功能去释放它们,Linux 中提供页面回收算法这样一种机制进行页面回收。

一般来说,用于页缓存的物理页面无法被页面的使用者主动释放,因为它们不知道这些页面何时应该被释放。Linux 中页缓存存在的最大好处就是可以让程序从缓存中快速获取数据,从而提升系统的性能。在系统负载不重的情况下,Linux 操作系统会分配较多的物理页面用于页缓存,从而提高程序的运行效率;但是在系统负载较重的情况下,Linux 操作系统就可能会适当回收用于缓存的页面,并减少用于缓存的页面的分配,从而满足系统中优先级更高的内存分配请求。对于用户进程来说,Linux 操作系统可以在它需要的时候为它分配物理内存,但是当用户进程不再需要这些物理页面的时候,如果用户进程不主动释放占用的页面,Linux 操作系统也不会强制用户进程去释放这些物理页面。基于上述这些情况,当内存中可用的物理页面越来越少,并最终导致内存的使用捉襟见肘的时候,为了保证系统的顺利运行,Linux 操作系统就会根据一定的算法去回收那些长期被占用并且没有得到有效使用的物理页面。

由操作系统内核本身使用的物理页面不在Linux 操作系统进行页面回收的考虑范围之内,这是因为与用户进程相比,内核不需要占用非常多的内存,回收内核占用的物理页面会显著增加内核代码的复杂性,潜在收益非常低。


如何进行页面回收

哪些页面可以被回收

内存中并非所有物理页面都是可以进行回收的,总的来说,以下这些种物理页面可以被Linux 操作系统回收:

  • 文件读写操作过程中用于缓冲数据的页面
  • 用户地址空间中用于文件内存映射的页面
  • 匿名页面:进程用户模式下的堆栈或者是使用mmap 匿名映射的内存区
  • 特殊的用于slab 分配器的缓存,比如用于缓存文件目录结构dentry 的cache,以及用于缓存索引节点inode 的cache

在页面被操作系统回收之前,所有与之关联的进程页表项必须要断开与该页面之间的映射关系。对于匿名页面来说,在页面被回收之前,匿名页面中的内容首先需要先被交换到交换区中去;如果要回收的页面是“脏”页面,那么该页面在被回收之前需要先将页面中的数据写回。

除此之外,其他的页面要么不可以被回收,要么根本不必进行回收。比如,内核占用的页面不会被回收;映射到内核空间中的页面也不会被回收;内核在执行的过程中动态生成的页面需要永驻内存;被锁住的页面不能被回收;而没有被占用的物理页面则根本不需要被回收。

进行页面回收的时机

Linux 操作系统使用如下这两种机制检查系统内存的使用情况,从而确定可用的内存是否太少从而需要进行页面回收。

    • 周期性的检查:这是由后台运行的守护进程kswapd 完成的。该进程定期检查当前系统的内存使用情况,当发现系统内空闲的物理页面数目少于特定的阈值时,该进程就会发起页面回收的操作。
    • “内存严重不足”事件的触发:在某些情况下,比如,操作系统忽然需要通过伙伴系统为用户进程分配一大块内存,或者需要创建一个很大的缓冲区,而当时系统中的内存没有办法提供足够多的物理内存以满足这种内存请求,这时候,操作系统就必须尽快进行页面回收操作,以便释放出一些内存空间从而满足上述的内存请求。这种页面回收方式也被称作“直接页面回收”。

如果操作系统在进行了内存回收操作之后仍然无法回收到足够多的页面以满足上述内存要求,那么操作系统只有最后一个选择,那就是使用OOM( out of memory )killer,它从系统中挑选一个最合适的进程杀死它,并释放该进程所占用的所有页面。

上面介绍的内存回收机制主要依赖于三个字段:pages_min,pages_low 以及pages_high。每个内存区域( zone )都在其区域描述符中定义了这样三个字段,这三个字段的具体含义如下表1 所示。


表1. 字段含义
名称 字段描述
pages_min 区域的预留页面数目,如果空闲物理页面的数目低于pages_min,那么系统的压力会比较大,此时,内存区域中急需空闲的物理页面,页面回收的需求非常紧迫。
pages_low 控制进行页面回收的最小阈值,如果空闲物理页面的数目低于pages_low,那么操作系统内核会开始进行页面回收。
pages_high 控制进行页面回收的最大阈值,如果空闲物理页面的数目多于pages_high,则内存区域的状态是理想的。

页面回收算法

Linux 中的页面回收是基于LRU(least recently used,即最近最少使用) 算法的。LRU 算法基于这样一个事实,过去一段时间内频繁使用的页面,在不久的将来很可能会被再次访问到。反过来说,已经很久没有访问过的页面在未来较短的时间内也不会被频繁访问到。因此,在物理内存不够用的情况下,这样的页面成为被换出的最佳候选者。

LRU 算法的基本原理很简单,为每个物理页面绑定一个计数器,用以标识该页面的访问频度。操作系统内核进行页面回收的时候就可以根据页面的计数器的值来确定要回收哪些页面。然而,在硬件上提供这种支持的体系结构很少,Linux 操作系统没有办法依靠这样一种页计数器去跟踪每个页面的访问情况,所以,Linux 在页表项中增加了一个Accessed 位,当页面被访问到的时候,该位就会被硬件自动置位。该位被置位表示该页面还很年轻,不能被换出去。此后,在系统的运行过程中,该页面的年龄会被操作系统更改。在Linux 中,相关的操作主要是基于两个LRU 链表以及两个标​​识页面状态的标志符,下文会逐一介绍这些相应的数据结构以及Linux 如何使用这些数据结构进行页面回收。

LRU 链表

在Linux 中,操作系统对LRU 的实现主要是基于一对双向链表:active 链表和inactive 链表,这两个链表是Linux 操作系统进行页面回收所依赖的关键数据结构,每个内存区域都存在一对这样的链表。顾名思义,那些经常被访问的处于活跃状态的页面会被放在active 链表上,而那些虽然可能关联到一个或者多个进程,但是并不经常使用的页面则会被放到inactive 链表上。页面会在这两个双向链表中移动,操作系统会根据页面的活跃程度来判断应该把页面放到哪个链表上。页面可能会从active 链表上被转移到inactive 链表上,也可能从inactive 链表上被转移到active 链表上,但是,这种转移并不是每次页面访问都会发生,页面的这种转移发生的间隔有可能比较长。那些最近最少使用的页面会被逐个放到inactive 链表的尾部。进行页面回收的时候,Linux 操作系统会从inactive 链表的尾部开始进行回收。

用于描述内存区域的struct zone() 中关于这两个链表以及相关的关键字段的定义如下所示:

 struct zone { 
    ……
	 spinlock_t lru_lock; 	
	 struct list_head active_list; 
	 struct list_head inactive_list; 
	 unsigned long nr_active; 
	 unsigned long nr_inactive; 
    ……
	
 } 

各字段含义如下所示:

lru_lock:active_list 和inactive_list 使用的自旋锁。

active_list:管理内存区域中处于活跃状态的页面。

inactive_list:管理内存区域中处于不活跃状态的页面。

nr_active:active_list 链表上的页面数目。

nr_inactive:inactive_list 链表上的页面数目。

如何在两个LRU 链表之间移动页面

Linux 引入了两个页面标志符PG_active 和PG_referenced 用于标识页面的活跃程度,从而决定如何在两个链表之间移动页面。PG_active 用于表示页面当前是否是活跃的,如果该位被置位,则表示该页面是活跃的。PG_referenced 用于表示页面最近是否被访问过,每次页面被访问,该位都会被置位。Linux 必须同时使用这两个标志符来判断页面的活跃程度,假如只是用一个标志符,在页面被访问时,置位该标志符,之后该页面一直处于活跃状态,如果操作系统不清除该标志位,那么即使之后很长一段时间内该页面都没有或很少被访问过,该页面也还是处于活跃状态。为了能够有效清除该标志位,需要有定时器的支持以便于在超时时间之后该标志位可以自动被清除。然而,很多Linux 支持的体系结构并不能提供这样的硬件支持,所以Linux 中使用两个标志符来判断页面的活跃程度。

Linux 2.6 中这两个标志符密切合作,其核心思想如下所示:

  • 如果页面被认为是活跃的,则将该页的PG_active 置位;否则,不置位。
  • 当页面被访问时,检查该页的PG_referenced 位,若未被置位,则置位之;若发现该页的PG_referenced 已经被置位了,则意味着该页经常被访问,这时,若该页在inactive 链表上,则置位其PG_active 位,将其移动到active 链表上去,并清除其PG_referenced 位的设置;如果页面的PG_referenced 位被置位了一段时间后,该页面没有被再次访问,那么Linux 操作系统会清除该页面的PG_referenced 位,因为这意味着这个页面最近这段时间都没有被访问。
  • PG_referenced 位同样也可以用于页面从active 链表移动到inactive 链表。对于某个在active 链表上的页面来说,其PG_active 位被置位,如果PG_referenced 位未被置位,给定一段时间之后,该页面如果还是没有被访问,那么该页面会被清除其PG_active位,挪到inactive 链表上去。

Linux 中实现在LRU 链表之间移动页面的关键函数如下所示(本文涉及的源代码均是基于Linux 2.6.18.1 版本的):

  • mark_page_accessed():当一个页面被访问时,则调用该函数相应地修改PG_active 和PG_referenced。
  • page_referenced():当操作系统进行页面回收时,每扫描到一个页面,就会调用该函数设置页面的PG_referenced 位。如果一个页面的PG_referenced 位被置位,但是在一定时间内该页面没有被再次访问,那么该页面的PG_referenced 位会被清除。
  • activate_page():该函数将页面放到active 链表上去。
  • shrink_active_list():该函数将页面移动到inactive 链表上去。

LRU 缓存

前边提到,页面根据其活跃程度会在active 链表和inactive 链表之间来回移动,如果要将某个页面插入到这两个链表中去,必须要通过自旋锁以保证对链表的并发访问操作不会出错。为了降低锁的竞争,Linux 提供了一种特殊的缓存:LRU 缓存,用以批量地向LRU 链表中快速地添加页面。有了LRU 缓存之后,新页不会被马上添加到相应的链表上去,而是先被放到一个缓冲区中去,当该缓冲区缓存了足够多的页面之后,缓冲区中的页面才会被一次性地全部添加到相应的LRU 链表中去。Linux 采用这种方法降低了锁的竞争,极大地提升了系统的性能。

LRU 缓存用到了pagevec 结构,如下所示 :

 struct pagevec { 
	 unsigned long nr; 
	 unsigned long cold; 
	 struct page *pages[PAGEVEC_SIZE]; 
 }; 

pagevec 这个结构就是用来管理LRU 缓存中的这些页面的。该结构定义了一个数组,这个数组中的项是指向page 结构的指针。一个pagevec 结构最多可以存在14 个这样的项(PAGEVEC_SIZE 的默认值是14)。当一个pagevec 的结构满了,那么该pagevec 中的所有页面会一次性地被移动到相应的LRU 链表上去。

用来实现LRU 缓存的两个关键函数是lru_cache_add() 和lru_cache_add_active()。前者用于延迟将页面添加到inactive 链表上去,后者用于延迟将页面添加到active 链表上去。这两个函数都会将要移动的页面先放到页向量pagevec 中,当pagevec 满了(已经装了14 个页面的描述符指针),pagevec 结构中的所有页面才会被一次性地移动到相应的链表上去。

下图概括总结了上文介绍的如何在两个链表之间移动页面,以及LRU 缓存在其中起到的作用:


图1. 页面在LRU 链表之间移动示意图
图1. 页面在LRU 链表之间移动示意图  

其中,1 表示函数mark_page_accessed(),2 表示函数page_referenced(),3 表示函数activate_page(),4 表示函数shrink_active_list()。

页面回收的实现

Linux 操作系统进行页面回收需要考虑的方面很多,下图列出了Linux 操作系统进行页面回收的关键代码流程图,该图给出了实现页面回收的关键代码函数名,并说明它们之间是如何彼此链接的。


图2. 页面回收关键代码流程图
图2. 页面回收关键代码流程图  

上文提到Linux 中页面回收主要是通过两种方式触发的,一种是由“内存严重不足”事件触发的;一种是由后台进程kswapd 触发的,该进程周期性地运行,一旦检测到内存不足,就会触发页面回收操作。对于第一种情况,系统会调用函数try_to_free_pages() 去检查当前内存区域中的页面,回收那些最不常用的页面。对于第二种情况,函数balance_pgdat() 是入口函数。

当NUMA 上的某个节点的低内存区域调用函数try_to_free_pages() 的时候,该函数会反复调用shrink_zones() 以及shrink_slab() 释放一定数目的页面,默认值是32 个页面。如果在特定的循环次数内没有能够成功释放32 个页面,那么页面回收会调用OOM kil​​ler 选择并杀死一个进程,然后释放它占用的所有页面。函数shrink_zones() 会对内存区域列表中的所有区域分别调用shrink_zone() 函数,后者是从内存回收最近最少使用页面的入口函数。

对于定期页面检查并进行回收的入口函数balance_pgdat() 来说,它主要调用的函数是shrink_zone() 和shrink_slab()。从上图中我们也可以看出,进行页面回收的两条代码路径最终汇合到函数shrink_zone() 和函数shrink_slab() 上。

函数shrink_zone()

其中,shrink_zone() 函数是Linux 操作系统实现页面回收的最核心的函数之一,它实现了对一个内存区域的页面进行回收的功能,该函数主要做了两件事情:

  • 将某些页面从active 链表移到inactive 链表,这是由函数shrink_active_list() 实现的。
  • 从inactive 链表中选定一定数目的页面,将其放到一个临时链表中,这由函数shrink_inactive_list() 完成。该函数最终会调用shrink_page_list() 去回收这些页面。

函数shrink_page_list() 返回的是回收成功的页面数目。概括来说,对于可进行回收的页面,该函数主要做了这样几件事情,其代码流程图如下所示:


图3. 函数shrink_page_list() 实现的关键功能
图3. 函数shrink_page_list() 实现的关键功能  
  • 对于匿名页面来说,在回收此类页面时,需要将其数据写入到交换区。如果尚未为该页面分配交换区槽位,则先分配一个槽位,并将该页面添加到交换缓存。同时,将相关的page 实例加入到交换区,这样,对该页面的处理就可以跟其他已经建立映射的页面一样;
  • 如果该页面已经被映射到一个或者多个进程的页表项中,那么必须找到所有引用该页面的进程,并更新页表中与这些进程相关的所有页表项。在这里,Linux 2.6 操作系统会利用反向映射机制去检查哪些页表项引用了该页面,关于反向映射的内容在后边会有介绍;
  • 如果该页面中的数据是脏的,那么数据必须要被回写;
  • 释放页缓存中的干净页面。

函数shrink_slab()

函数shrink_slab() 是用来回收磁盘缓存所占用的页面的。Linux 操作系统并不清楚这类页面是如何使用的,所以如果希望操作系统回收磁盘缓存所占用的页面,那么必须要向操作系统内核注册shrinker 函数,shrinker 函数会在内存较少的时候主动释放一​​些该磁盘缓存占用的空间。函数shrink_slab() 会遍历shrinker 链表,从而对所有注册了shrinker 函数的磁盘缓存进行处理。

从实现上来看,shrinker 函数和slab 分配器并没有固定的联系,只是当前主要是slab 缓存使用shrinker 函数最多。

注册shrinker 是通过函数set_shrinker() 实现的,解除shrinker 注册是通过函数remove_shrinker() 实现的。当前,Linux 操作系统中主要的shrinker 函数有如下几种:

  • shrink_dcache_memory():该shrinker 函数负责dentry 缓存。
  • shrink_icache_memory():该shrinker 函数负责inode 缓存。
  • mb_cache_shrink_fn():该shrinker 函数负责用于文件系统元数据的缓存。

反向映射(reverse mapping)

前文介绍过,在回收一个物理页面之前,需要查找到所有关联了该物理页面的页表项,并逐一更新这些页表项。Linux 2.6 使用了反向映射这种机制用于快速定位那些引用了某个物理页面的所有页表项。Linux 操作系统为物理页面建立一​​个链表,用于指向引用了该物理页面的所有页表项。其基本思想如下图所述:


图4. 反向映射的基本思想
图4. 反向映射的基本思想  

反向映射技术的发展历史

在Linux 2.4 中,为了确定某个要回收的物理页面都被哪些页表项引用,必须要遍历所有进程,这是一项非常耗资源和时间的工程。为了更加有效地回收一个共享页面,Linux 在2.5 版本的开发期间引入了反向映射这样一种机制。这种机制建立了物理页面和所有映射了该物理页面的页表项之间的一种关联,从而让操作系统可以快速定位引用了该物理页面的所有页表项。在Linux 2.6 版本中,反向映射算法又经历了大量改进。

在Linux 2.5 版本中,反向映射技术的实现主要是基于页表项链表。操作系统为每一个物理页面都维护了一个链表,所有与该物理页面关联的页表项都会被放到这个链表上。这种方法会存在一些问题:

  • 空间资源的消耗:为每个物理页面维护这样一个链表,需要占用大量的内存空间。
  • 时间资源的消耗:回收一个物理页面的时候,需要先获取该链表上的锁,然后遍历相应的反向映射链表,链表上的项越多,需要的时间就越多。

后来,Linux 2.6 引入了基于对象的反向映射机制。这种方法也是为物理页面设置一个用于反向映射的链表,但是链表上的节点并不是引用了该物理页面的所有页表项,而是相应的虚拟内存区域( vm_area_struct 结构),虚拟内存区域通过内存描述符( mm_struct 结构)找到页全局目录,从而找到相应的页表项。相对于前一种方法来说,用于表示虚拟内存区域的描述符比用于表示页面的描述符要少得多,所以遍历后边这种反向映射链表所消耗的时间也会少很多。

基于对象的反向映射的实现

数据结构

page 结构中与基于对象的反向映射相关的关键字段有两个:_mapcount 和mapping。

 struct page { 
	 atomic_t _mapcount; 		
				
	 union { 
        ……
	    struct { 
		……		
		 struct address_space *mapping; 	
	    }; 
        ……
 }; 

  • 字段_mapcount 表明共享该物理页面的页表项的数目。该计数器可用于快速检查该页面除所有者之外有多少个使用者在使用,初始值是-1,每增加一个使用者,该计数器加1。
  • 字段mapping 用于区分匿名页面和基于文件映射的页面,如果该字段的最低位被置位了,那么该字段包含的是指向anon_vma 结构(用于匿名页面)的指针;否则,该字段包含指向address_space 结构的指针(用于基于文件映射的页面)。

匿名页面和文件映射页面分别采用了不同的底层数据结构去存放与页面相关的虚拟内存区域。对于匿名页面来说,与该页面相关的虚拟内存区域存放在结构anon_vma 中定义的双向链表中。结构anon_vma 定义很简单,如下所示:

 struct anon_vma { 
	 spinlock_t lock; 	
	 struct list_head head; 	
	 }; 

而对于基于文件映射的页面来说,与匿名页面不同的是,与该页面相关的虚拟内存区域的存放是利用了优先级搜索树这种数据结构的。这是因为对于匿名页面来说,页面虽然可以是共享的,但是一般情况下,共享匿名页面的使用者的数目不会很多;而对于基于文件映射的页面来说,共享页面的使用者的数目可能会非常多,使用优先级搜索树这种结构可以更加快速地定位那些引用了该页面的虚拟内存区域。操作系统会为每一个文件都建立一个优先级搜索树,其根节点可以通过结构address_space 中的i_mmap 字段获取。

 struct address_space { 
   ……
	 struct prio_tree_root i_mmap; 		
	……
	 } 

Linux 2.6 中使用(radix,size,heap) 来表示优先级搜索树中的节点。其中,radix 表示内存区域的起始位置,heap 表示内存区域的结束位置,size 与内存区域的大小成正比。在优先级搜索树中,父节点的heap 值一定不会小于子节点的heap 值。在树中进行查找时,根据节点的radix 值进行。程序可以根据size 值区分那些具有相同radix 值的节点。

在用于表示虚拟内存区域的结构vm_area_struct 中,与上边介绍的双向链表和优先级搜索树相关的字段如下所示:

 struct vm_area_struct { 
	 struct mm_struct * vm_mm; 	
	……
	 union { 
		 struct { 
			 struct list_head list; 
			 void *parent; 	
			 struct vm_area_struct *head; 
		 } vm_set; 

		 struct raw_prio_tree_node prio_tree_node; 
	 } shared; 

	
	 struct list_head anon_vma_node; 	
	 struct anon_vma *anon_vma; 	
 }; 

与匿名页面的双向链表相关的字段是anon_vma_node 和anon_vma。union shared 则与文件映射页面使用的优先级搜索树相关。字段anon_vma 指向anon_vma 表;字段anon_vma_node 将映射该页面的所有虚拟内存区域链接起来;union shared 中的prio_tree_node 结构用于表示优先级搜索树的一个节点;在某些情况下,比如不同的进程的内存区域可能映射到了同一个文件的相同部分,也就是说这些内存区域具有相同的(radix,size,heap)值,这个时候Linux 就会在树上相应的节点(树上原来那个具有相同(radix ,size,heap) 值的内存区域)上接一个双向链表用来存放这些内存区域,这个链表用vm_set.list 来表示;树上那个节点指向的链表中的第一个节点是表头,用vm_set.head 表示;vm_set.parent 用于表示是否是树结点。下边给出一个小图示简单说明一下vm_set.list 和vm_set.head。


图5. vm_set.list 和vm_set.head
图5. vm_set.list 和vm_set.head  

通过结构vm_area_struct 中的vm_mm 字段可以找到对应的mm_struct 结构,在该结构中找到页全局目录,从而定位所有相关的页表项。

使用反向映射

在进行页面回收的时候,Linux 2.6 在前边介绍的shrink_page_list() 函数中调用try_to_unmap() 函数去更新所有引用了回收页面的页表项。其代码流程如下所示:


图6. 实现函数try_to_unmap() 的关键代码流程图
图6. 实现函数try_to_unmap() 的关键代码流程图  

函数try_to_unmap() 分别调用了两个函数try_to_unmap_anon() 和try_to_unmap_file(),其目的都是检查并确定都有哪些页表项引用了同一个物理页面,但是,由于匿名页面和文件映射页面分别采用了不同的数据结构,所以二者采用了不同的方法。

函数try_to_unmap_anon() 用于匿名页面,该函数扫描相应的anon_vma 表中包含的所有内存区域,并对这些内存区域分别调用try_to_unmap_one() 函数。

函数try_to_unmap_file() 用于文件映射页面,该函数会在优先级搜索树中进行搜索,并为每一个搜索到的内存区域调用try_to_unmap_one() 函数。

两条代码路径最终汇合到try_to_unmap_one() 函数中,更新引用特定物理页面的所有页表项的操作都是在这个函数中实现的。该函数实现的关键功能如下图所示:


图7. 函数try_to_unmap_one() 实现的关键功能
图7. 函数try_to_unmap_one() 实现的关键功能  

对于给定的物理页面来说,该函数会根据计算出来的线性地址找到对应的页表项地址,并更新页表项。对于匿名页面来说,换出的位置必须要被保存下来,以便于该页面下次被访问的时候可以被换进来。并非所有的页面都是可以被回收的,比如被mlock() 函数设置过的内存页,或者最近刚被访问过的页面,等等,都是不可以被回收的。一旦遇上这样的页面,该函数会直接跳出执行并返回错误代码。如果涉及到页缓存中的数据,需要设置页缓存中的数据无效,必要的时候还要置位页面标识符以进行数据回写。该函数还会更新相应的一些页面使用计数器,比如前边提到的_mapcount 字段,还会相应地更新进程拥有的物理页面数目等。

使用反向映射的优缺点

使用反向映射机制所带来的好处是显而易见的:可以快速定为引用了某个物理页面的所有页表项,这极大地方便了操作系统进行页面回收。相对于之前的遍历方法来说,反向映射机制在很大程度上减少了操作系统在页面回收上所占用的CPU 时间。

但是,使用反向映射所面临的挑战也是很明显的,不管采用上述介绍的哪种方法建立反向映射,都不可避免地要消耗掉一定的内存空间,区别就在于用哪种方法占用的空间会更少,整体性能会更好。


总结

页面回收是Linux 内存管理中比较复杂的一个部分,涉及到的相关内容非常多,本文也不是面面俱到。反向映射是Linux 2.5 开发过程中一个比较大的亮点,该技术在后续Linux 2.6 版本中又得到了更进一步的发展。本文的目的是想帮助读者理清Linux 2.6 中的页面回收和反向映射机制,本文通过相关的数据结构和关键的代码流程介绍了Linux 操作系统如何利用反向映射机制有效地进行页面回收。关于Linux 操作系统如何建立​​反向映射的内容,本文没有做详尽介绍,感兴趣的读者可以自行参考内核源代码。


参考资料

学习

讨论

[内核内存] 反向映射详解 文章目录1 匿名页反向映射1.1 匿名页反向映射关键数据结构1.2 linux匿名页的反向映射机制1.3 进程创建时反向映射相关结构体间的关系1.4 linux为匿名页的VMA分配AV的流程do_anonymous_page函数(缺页异常匿名页处理方式)anon_vma_prepare函数(关联匿名页的VMA和AV)page_add_new_anon_rmap函数(关联匿名页描述符struct page和AV)1.5 linux子进程创建时匿名页的写时复制(COW)机制2 文件页反向映射3 KSM页面反向映 阅读详情

相关推荐

手把手教学:利用AutoDL与vLLM快速部署DeepSeek-R1大模型实战指南

本文详细介绍了如何利用AutoDL平台和vLLM框架快速部署DeepSeek-R1大模型的实战指南。从服务器配置、vLLM安装优化到模型部署的两种方案,再到性能调优和生产环境建议,手把手教你高效完成大模型部署。特别针对国内开发者遇到的网络问题提供了稳定解决方案,并分享了显存优化、磁盘清理等实用技巧。

weixin_42531779的博客 331

Linux2.6的页面回收机制

为什么要进行页面回收操作系统管理内存中的物理页面,同时也担任着内存分配的职责。应用程序可以通过内存分配函数向操作系统申请物理页面;在使用完这些物理页面之后,应用程序可以通过相应的内存释放函数释放这些物理页面。但是,对于内存中的某些物理页面来说,页面的使用者并不会主动释放它们,如果这些物理页面一直被占用而得不到释放,那么无论计算机上可用的物理内存有多少,物理内存迟早都有被用完的时候。所以,对于无法被主动释放的物理页面来说,操作系统就需要提供相应的功能去释放它们,Linux 中提供页面回收算法这样一种机制进行页

飞在天空的鱼 1628

2024最新版Anaconda Navigator安装使用指南

本文简要介绍如何下载安装Anaconda Navigator最新版,以及如何使用Python内核搭载来完成应用程序开发。

jackson_lingua的博客 1万+

Linux 2.6 中的页面回收与反向映射(匿名页面/文件页面)

本文主要介绍 Linux 2.6 中的页面回收机制是如何工作的,反向映射是如何设计并实现的,以及 Linux 操作系统如何利用反向映射机制进行页面地回收。 Linux 2.6 中关于反向映射和页面回收的代码在不断地更新,不同版本的内核在这部分的代码上会有很大差异,本文将基于 2.6.18.1 版本的内核来探讨 Linux 中的反向映射和页面回收。 为什么要进行页面回收

lidan3959的专栏 2338

量子计算入门指南:密度算符的核心概念与应用解析

本文深入解析了量子计算中密度算符的核心概念与应用。作为描述量子系统“状态的状态”的关键数学工具,密度算符能有效处理混合态与子系统描述,是理解量子噪声、量子纠错和开放系统演化的基石。文章通过对比纯态与混合态,阐释了密度矩阵的数学定义与物理意义,并结合代码示例演示了其在实际量子计算问题中的强大威力。

day7的博客 471

大模型时代必备技能:3种向量量化技术对比(PQ/AQ/RVQ)与选型指南

本文深入解析了大模型时代处理海量向量数据的关键技术——向量量化。通过对比Product Quantization (PQ)、Additive Quantization (AQ)和Residual Vector Quantization (RVQ)三种主流技术的核心原理、性能表现与适用场景,为工程师提供了从理论到实践的选型指南,旨在解决向量存储与检索的效率瓶颈,助力RAG等大模型应用高效落地。

silver的专栏 801

2.6内核新引入的反向映射

(本文基于2.6.1内核,参考2.6.9内核)反向映射是2.6内核中新引入的一个机制,主要是为了加速页面置换的时候的效率,由于内核中的页面是不区分进程的,多个进程很有可能会共享一个页面,内核只管每个页面必须和一个或者多个pte对应,反过来,每一个present位为1的pte必须和一个页面相对应,这个反过来的对应是个一一映射关系,但是前面的却不然,也就是说页面到pte的映射却不是一一映射的关系,而在

TCP/IP 5481

超越数据手册:深入Zynq XADC的DRP接口与PL端自定义采样逻辑

本文深入探讨Zynq-7000系列XADC模块的DRP接口机制与PL端自定义采样逻辑实现。通过硬件级多通道轮询、触发采样和实时校准技术,突破传统软件驱动限制,为高精度电压测量和通讯应用提供极致灵活性和响应速度。

xxx12的博客 771

linux内存反向映射,Linux 2.6 中的页面回收与反向映射

出处:http://yuanbor.blog.163.com/blog/static/56674620201432114846468/为什么要进行页面回收操作系统管理内存中的物理页面,同时也担任着内存分配的职责。应用程序可以通过内存分配函数向操作系统申请物理页面;在使用完这些物理页面之后,应用程序可以通过相应的内存释放函数释放这些物理页面。但是,对于内存中的某些物理页面来说,页面的使用者并不会主动...

weixin_39612733的博客 228

Ceph入门到精通-存储桶通知

这 通知还可以根据前缀的匹配项过滤掉事件,并且 (1) 键的后缀,(2) 附加到对象的元数据属性, 或 (3) 对象标签。在此模式下,操作仅在以下之后确认(确认) 通知将发送到主题的已配置终端节点。这意味着 通知的往返时间(发送 通知主题的终端节点以及接收 确认)被添加到操作本身的延迟中。要更新主题,请使用用于创建主题的相同命令(但在 更新时,使用现有主题的名称和不同的终端节点值)。端口:对于未加密的连接,默认为 5672,对于未加密的连接,默认为 5671 SSL 加密连接。(默认情况下,这是“假的”。

隔壁老瓦的专栏 1133

OpenHarmony可信执行环境:TEE模块源码分析与实现原理

TEE(Trusted Execution Environment)是OpenHarmony系统中的安全执行环境,用于提供隔离的安全执行环境,保护敏感数据和操作。OpenHarmony的TEE模块基于OpenTrustee实现,采用微内核架构,为系统提供可信执行环境支持。OpenHarmony TEE模块是一个复杂的安全系统,通过提供隔离的执行环境保护敏感数据和操作。

m0_67505153的博客 550

Linux 匿名页反向映射

反向映射恰好相反,想根据已分配的物理页找到该映射到该物理页上的所有用户进程,该操作主要用于页面回收,当内存不足时,回收一个页面就需要找到映射到该页面的所有用户进程,修改进程页表的映射信息,防止出现非法访问。最简单找到该页面被哪些进程所映射的方式,是通过遍历所有的进程的页表,然后遍历每个页表项,检查是否映射到该页面上,但这种方式无疑是最耗时的,所以才有了后面的反向映射机制。

assiduous_me的博客 1606

ZYNQ PL通过EMIO ETHE1外接PHY由GMII转RGMII

1,设置EMIO方式引出ETHE1 2,从GMII过度到RGMII GMII: 发送 gmii_tx_clk gmii_tx_d[7:0] gmii_tx_en gmii_tx_er 接收 gmii_rx_clk gmii_rx_d[7:0] gmii_rx_dv gmii_rx_er RGMII: 发送 tx_clk tx_d[3:0] tx_ctrl 接收 rx_clk rx_d[3:0] rx_ctrl 首先数据总线从时钟单边沿采样8bit转变为了双边沿采样4bit,从88E1

wangjie36的博客 1万+

Linux内核页回收机制与反向映射

当我们申请分配页的时候,页分配器首先尝试使用低水线分配页。如果使用低水线分配失败,说明内存轻微不足,页分配器将会唤醒内存节点的页回收内核线程,异步回收页,然后尝试使用最低水线分配页。如果使用最低水线分配失败,说明内存严重不足,页分配器会直接回收。 针对不同的物理页,采用不同的回收策略:交换支持的页和存储设备支持的文件页。 那我们根据什么的原则选择回收物理页呢? Linux 内核使用 LRU(Least Recently Used,最近最少使用)算法选择最近最少使用

m0_74186706的博客 1155

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

图解Linux内核(基于6.x):解读Linux内存反向映射之匿名映射

内存映射中,我们经常讨论的是由虚拟内存定位物理内存(也就是folio或者page),实际上在很多场景中(比如内存回收),会涉及反向的操作,也就是反向映射。所谓反向映射,就是给定一个folio(page),将映射它的PTE(页表项)找出来。接下来我们来详细分析一下它的原理吧(本文仅分析匿名映射部分)。全书共五篇,以从易到难的顺序详细剖析了Linux内核开发的核心技术。“知识储备篇”介绍了Linux的数据结构、中断处理、内核同步和时间计算等内容,这些是理解后续章节的前提;

屿小夏.的知识博客 4万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

linux内存反向映射,Linux页面回收与反向映射机制总结篇——深圳培训linux

本文,将会概括总结今天文章介绍Linux页面回收与反向映射机制的如何在两个链表之间移动页面,以及LRU 缓存在其中起到的作用,还会做一个最后的总结。1. 页面在 LRU 链表之间移动示意图其中,1 表示函数 mark_page_accessed(),2表示函数 page_referenced(),3 表示函数 activate_page(),4 表示函数shrink_active_list()。页...

weixin_42515301的博客 436

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

「小明赠书活动」第六期解读Linux内存反向映射之匿名映射——《图解Linux内核(基于6.x)》

由于这是vma区间内的第一次缺页异常,vma相关的anon_vma和avc还不存在,处理异常的过程中会准备好它们,然后调用page_add_new_anon_rmap为该page(folio)建立反向映射,将anon_vma赋值给mapping字段。我们肯定不希望操作原页的时候会影响到没有映射它的vma,所以得到某个vma后,需要做进一步检查,原理是拿原页的pfn区间(一个folio可能包含多个连续的物理页)和vma映射的物理页的pfn做比较,落在区间内才是有效的,由check_pte实现。

小明的Java问道之路 1万+
上一篇: Manacher算法总结
下一篇: 学习目录
FreeeLinux
博客等级 码龄11年 421粉丝 356原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值