slab源码分析--setup_cpu_cache函数

之前剖析过了 slab 的初始化，以及 kmem_cache_create() 函数，留下了一个 setup_cpu_cache() 函数没有处理，今天来分析一下。

说明：本文缓存器指 kmem_cache 结构，slab 三链即 kmem_list3。

setup_cpu_cache() 函数和 slab 分配器的初始化状态是息息相关的。我们知道，slab 分配器初始化会经历以下状态：

g_cpucache_up状态	含义
NONE	AC和三链缓存器都没创建好，仍使用静态替代
PARTIAL_AC	本地缓存的arraycache_init结构体缓存器构造完毕
PARTIAL_L3	三链的kmem_list3结构体缓存器构造完毕
FULL	所有grneral cache(通用缓存器)构造完毕

 
首先提一下 arraycache_init 结构体，之前都没说过。

/*
 * bootstrap: The caches do not work without cpuarrays anymore, but the
 * cpuarrays are allocated from the generic caches...
 */
#define BOOT_CPUCACHE_ENTRIES   1
struct arraycache_init {
    struct array_cache cache;
    void *entries[BOOT_CPUCACHE_ENTRIES];
};

就是上面那样的，由于 array_cache 结构体末尾是一个柔性数组，我们需要把该柔性数组和 array_cache 包装起来，因为它们组合而成了本地缓存。否则单独的 array_cache 结构体是不会包含 entries 数组的，这是柔性数组的特性，它只是一个占位符。所以，本地缓存的缓存器真正要缓存的对象是 arrarcache_init 结构体。该结构体在初始化前期，采用静态初始化，如 BOOT_CPUACHE_ENTRIES。

下面来主要谈一下初始化过程的步骤，这是在 kmem_cache_init() 函数之中进行的：

(1) 构建好了kmem_cache实例cache_cache(静态分配)，且构建好了kmem_cache的slab分配器,并由initkmem_list3[0]组织, 相应的array为initarray_cache；
(2) 构建好了kmem_cache实例（管理arraycache_init），且构建好了arraycache_init的slab分配器,并由initkmem_list3[1]组织,相应的array为initarray_generic；
(3) 构建好了kmem_cache实例（管理kmem_list3）,此时还未构建好kmem_list3的slab分配器，但是一旦申请sizeof(kmem_list3)空间，将构建kmem_list3分配器,并由initkmem_list[2]组织,其array将通过kmalloc进行申请；
(4) 为malloc_sizes的相应数组元素构建kmem_cache实例，并分配kmem_list3,用于组织slab链表，分配arraycache_init用于组织每CPU的同一个kmem_cache下的slab分配;
(5) 替换kmem_cache、malloc_sizes[INDEX_AC].cs_cachep下的arraycache_init实例；
(6) 替换kmem_cache、malloc_sizes[INDEX_AC].cs_cachep、malloc_sizes[INDEX_L3].cs_cachep下的kmem_list3实例;
(7) g_cpucachep_up = EARLY;

问题：

为什么需要 initarray_cache 和 initarray_generic 两个静态 arraycache_init？它们静态初始化的内容不是一样的吗？

因为 initarray_cache 是为 cache_cache 缓存器准备的本地缓存，而 initarray_generic 是为 arraycache_init 缓存器准备的本地缓存。虽然静态初始化一样，它们最终要被 kmalloc 申请的新内容替换掉，分别作为不同缓存器的本地缓存。显然是不能共用的。

 
下面对 kmem_cache_init() 函数中执行 kmem_cache_create() 函数逐步分析（因为 setup_cpu_cache() 函数就是在后者中调用的）。

先声明：

#define INDEX_AC index_of(sizeof(struct arraycache_init))
#define INDEX_L3 index_of(sizeof(struct kmem_list3))

INDEX_AC 和 INDEX_L3 分别是 arraycache_init 和三链的大小，用于在 malloc_sizes[] 表中进行查找。

首先第一次调用：为 arraycache_init 构造缓存器。

sizes[INDEX_AC].cs_cachep =    kmem_cache_create(names[INDEX_AC].name,
                    sizes[INDEX_AC].cs_size,
                    ARCH_KMALLOC_MINALIGN,
                    ARCH_KMALLOC_FLAGS|SLAB_PANIC,   //#define ARCH_KMALLOC_FLAGS SLAB_HWCACHE_ALIGN，已经对齐过的标记
                    NULL, NULL);   

kmem_cache_create() 函数尾部调用 setup_cpu_cache() 进入该分支：

    //如果程序执行到这里，那就说明当前还在初始化阶段
    //g_cpucache_up记录初始化的进度，比如PARTIAL_AC表示 struct array_cache 的 cache 已经创建
    //PARTIAL_L3 表示struct kmem_list3 所在的 cache 已经创建，注意创建这两个 cache 的先后顺序。在初始化阶段只需配置主cpu的local cache和slab三链
    //若g_cpucache_up 为 NONE，说明 sizeof(struct array)大小的 cache 还没有创建，初始化阶段创建 sizeof(struct array) 大小的cache 时进入这流程
    //此时 struct arraycache_init 所在的 general cache 还未创建，只能使用静态分配的全局变量 initarray_eneric 表示的 local cache
    if (g_cpucache_up == NONE) {
        /*
         * Note: the first kmem_cache_create must create the cache
         * that's used by kmalloc(24), otherwise the creation of
         * further caches will BUG().
         */
        cachep->array[smp_processor_id()] = &initarray_generic.cache; //arraycache_init的缓存器还没有创建，先使用静态的

        /*
         * If the cache that's used by kmalloc(sizeof(kmem_list3)) is
         * the first cache, then we need to set up all its list3s,
         * otherwise the creation of further caches will BUG().
         */
         //chuangjian struct kmem_list3 所在的cache是在struct array_cache所在cache之后
         //所以此时 struct kmem_list3 所在的 cache 也一定没有创建，也需要使用全局变量 initkmem_list3

         //#define SIZE_AC 1，第一次把arraycache_init的缓存器和initkmem_list3[1]关联起来
         //下一次会填充
        set_up_list3s(cachep, SIZE_AC);  

        //执行到这里struct array_cache所在的 cache 创建完毕，
        //如果struct kmem_list3和struct array_cache 的大小一样大，那么就不用再重复创建了，g_cpucache_up表示的进度更进一步
        if (INDEX_AC == INDEX_L3) 
            g_cpucache_up = PARTIAL_L3;  //更新cpu up 状态
        else
            g_cpucache_up = PARTIAL_AC;
}   

第一次调用kmem_cache_create，填充了initkmem_list3[0],该类链表上挂载了kmem_cache类型的slab分配器.

kmem_cache_create() 中会第一次调用setup_cpu_cache，initkmem_list3[1]将被分配给与arraycache_init匹配的kmem_cache，但是由于arraycache_init的slab分配器（三链）还未构建好，因此，在第一次申请sizeof(arraycache_init)空间时，会把arraycache_init的slab 分配器挂入initkmem_list3[1]类的链表下.

 
第二次：为 kmem_list3（三链）构造缓存器

    if (INDEX_AC != INDEX_L3) {
    //如果struct kmem_list3 和 struct arraycache_init对应的kmalloc size索引不同，即大小属于不同的级别，
    //则创建struct kmem_list3所用的cache，否则共用一个cache
        sizes[INDEX_L3].cs_cachep =
            kmem_cache_create(names[INDEX_L3].name,
                sizes[INDEX_L3].cs_size,
                ARCH_KMALLOC_MINALIGN,
                ARCH_KMALLOC_FLAGS|SLAB_PANIC,
                NULL, NULL);
    }

setup_cpu_cache() 函数进入该分支：