kernel启动流程-start_kernel的执行_3.build_all_zonelists

最新推荐文章于 2023-03-26 14:56:55 发布

原创最新推荐文章于 2023-03-26 14:56:55 发布 · 701 阅读

3 ·

CC 4.0 BY-SA版权

Kernel Start 专栏收录该内容

20 篇文章

订阅专栏

本文详细介绍了Linux内核5.10版本中，内存管理的关键过程`build_all_zonelists`。该过程在系统启动时，依据内存成本从低到高建立节点间的内存分配顺序，并初始化每个节点的zone列表。`pg_data_t`结构体描述了内存布局，`build_all_zonelists_init`和`__build_all_zonelists`函数负责构建zone列表，`nr_free_zone_pages`统计可用页面，`page_group_by_mobility_disabled`根据内存大小决定是否启用流动分组机制。整个过程确保了内存的有效管理和分配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 前言

本专题文章承接之前《kernel启动流程_head.S的执行》专题文章，我们知道在head.S执行过程中保存了bootloader传递的启动参数、启动模式以及FDT地址等，创建了内核空间的页表，最后为init进程初始化好了堆栈，并跳转到start_kernel执行。
本文重点介绍start_kernel的build_all_zonelists的主要流程.

kernel版本：5.10
平台：arm64

2. pg_data_t

typedef struct pglist_data { 
	struct zone node_zones[MAX_NR_ZONES];
	struct zonelist node_zonelists[MAX_ZONELISTS];
	int nr_zones;
} pg_data_t;

先来重点看下pg_data_t结构体，有一段注释

On NUMA machines, each NUMA node would have a pg_data_t to describe it’s memory layout. On UMA machines there is a single pglist_data which describes the whole memory. Memory statistics and page replacement data structures are maintained on a per-zone basis.

注释中说每个NUMA节点都会有一个pg_data_t结构体变量来描述它的内存布局，在UMA机器只会有一个pg_data_t结构体变量来描述所有的内存。每个zone都会自己维护内存统计和页面替换
主要的成员说明如下：

成员	说明
node_zones	本地node的zone数组，不包含其它node
node_zonelists	node_zonelists包含对所有节点中所有zone的引用, 它记录了zone的内存分配顺序
nr_zones	当前node的zone数量

3.build_all_zonelists

build_all_zonelists主要的工作就是在当前处理的结点和系统中其它节点的内存域之间建立一种等级次序，之后将根据这种次序来分配内存。
内存定义了两条内存域的排序规则：

按照从低廉到昂贵的顺序创建单个节点内存域的排序规则：
high zone->normal zone->DMA zone
对于N个节点中的m节点来说，为保证不过度使用任一节点，选择备用节点的顺序为：
m, m+1, m+2, …, N-1, 0, 1, …, m-1

注：参考自<<深入Linux内核架构>> 内存管理，关于节点的顺序未必适用于5.10，5.10是通过find_next_best_node来寻找下一个最佳节点

|- -build_all_zonelists_init

if (system_state == SYSTEM_BOOTING) {
        build_all_zonelists_init();
} else {
        __build_all_zonelists(pgdat);
        /* cpuset refresh routine should be here */
}

build_all_zonelists首先会判断system_state的状态，system_state用于记录系统的状态，状态机有如下几种，它们的顺序是不能任意改变的，代码中会有很多地方的判断依赖状态机的顺序

extern enum system_states {
        SYSTEM_BOOTING, 
        SYSTEM_SCHEDULING,                                                                                                                                                           
        SYSTEM_RUNNING,                                                                                                                                                              
        SYSTEM_HALT,                                                                                                                                                                 
        SYSTEM_POWER_OFF,                                                                                                                                                            
        SYSTEM_RESTART,                                                                                                                                                              
        SYSTEM_SUSPEND,                                                                                                                                                              
} system_state;

如果为SYSTEM_BOOTING，则执行build_all_zonelists_init()，否则执行__build_all_zonelists(pgdat), 此处由于刚启动，
system_state == SYSTEM_BOOTING，因此会执行build_all_zonelists_init

build_all_zonelists_init
    |--__build_all_zonelists(NULL)
    |      |--for_each_online_node(nid)
    |             pg_data_t *pgdat = NODE_DATA(nid)
    |             build_zonelists(pgdat)
    \--for_each_possible_cpu(cpu)
            setup_pageset(&per_cpu(boot_pageset, cpu), 0)

build_all_zonelists_init主要是设置各个内存管理节点node里面各自的内存管理区zone的内存分配次序.

|- - -__build_all_zonelists

__build_all_zonelists(NULL)
    \--for_each_online_node(nid)
          build_zonelists(pgdat)
              |--while((node=find_next_best_node(local_node,&used_mask))>= 0) 
              |       node_load[node] = load
              |       node_order[nr_nodes++] = node
              |--build_zonelists_in_node_order(pgdat, node_order, nr_nodes)
              \--build_thisnode_zonelists(pgdat)

内存节点pg_data_t 成员node_zonelists用来记录内存分配的zone顺序列表，它主要包含两类zone：一类是本node的zone；一类是当本node没有zone可以分配内存时，将从其它node的zone分配，称为后备zone。
__build_all_zonelists将为所有的内存node初始化node_zonelists成员。其中build_zonelists_in_node_order将初始化后备zonelist，build_thisnode_zonelists将初始化本地node的node_zonelists

|- - -setup_pageset

setup_pageset(&per_cpu(boot_pageset, cpu), 0)
    |--pageset_init(p)
     \--pageset_set_batch(p, batch)

setup_pageset()函数入参p是一个struct per_cpu_pageset结构体的指针，per_cpu_pageset结构是内核的各个zone用于每CPU的页面高速缓存管理结构。该高速缓存包含一些预先分配的页面，以用于满足本地CPU发出的单一内存请求。
而struct per_cpu_pages定义的pcp是该管理结构的成员，用于具体页面管理。

pageset_init()：主要是将struct per_cpu_pages结构体进行初始化，主要是初始化INIT_LIST_HEAD(&boot_pageset->pcp->lists[migratetype])；
pageset_set_batch()则是对其进行设置

|- -nr_free_zone_pages

/* Get the number of free pages beyond high watermark in all zones. */
vm_total_pages = nr_free_zone_pages(gfp_zone(GFP_HIGHUSER_MOVABLE));

每个zone都有水位，可以看到nr_free_zone_pages()遍历所有内存管理区并将各管理区超越high water的内存空间求和，其实质是用于统计所有的管理区可以用于分配的内存页面数

|- -page_group_by_mobility_disabled

if (vm_total_pages < (pageblock_nr_pages * MIGRATE_TYPES))
	page_group_by_mobility_disabled = 1;
else
	page_group_by_mobility_disabled = 0;

判断当前系统中的内存页框数目，以决定是否启用流动分组机制(Mobility Grouping)，该机制可以在分配大内存块时减少内存碎片。通常只有内存足够大时才会启用该功能，否则将会提升消耗降低性能。其中pageblock_nr_pages表示伙伴系统中的最高阶页块所能包含的页面数。

4.总结

可以看出build_all_zonelists_init主要是设置各个内存管理节点node里面各自的内存管理区zone的内存分配次序；也会统计所有的管理区可以用于分配的内存页面数

参考文档

Documentations/vm/memory-model.rst
https://zhuanlan.zhihu.com/p/220068494
【Linux内存源码分析】伙伴管理算法（1）