linux kernel模块引用计数分析

一、背景

在内核中经常遇到模块引用计数不为0，无法卸载的情况，这篇文章主要分析内核模块引用计数是如何改变的。内核代码版本为 linux-5.4.191。

二、模块引用计数改变

模块加载、模块卸载的代码在文件kernel/module.c，将模块引用计数增1的函数如下：

• __module_get
• try_module_get

将模块引用计数减1的函数如下：

• module_put

2.1 模块加载

加载内核模块系统调用对应的内核函数如下：

• init_module
• finit_module

其中init_module是调用函数copy_module_from_user从用户态拷贝内核模块到内核态，finit是调用函数kernel_read_file_from_fd从文件系统读取内核模块，然后它们都会调用函数load_module加载内核模块。

假设模块B已经加载，加载模块A时调用函数load_module，函数load_module关于模块引用计数相关的流程如下，模块A调用了模块B的函数，即模块A依赖模块B：

1.  module_unload_init将模块A的引用计数设置为MODULE_REF_BASE（等于1），函数show_refcnt显示模块引用计数时会用模块引用计数减去MODULE_REF_BASE。同时会调用atomic_inc将模块A的引用计数增1，表示模块在加载流程中，当加载完成后再将引用计数减1。
2. 函数simplify_symbols遍历模块A所有未定义符号，对每个未定义符号调用函数resolve_symbol_wait，该函数会查找定义该符号的模块即模块B，函数ref_module先判断模块A和模块B是否已经建立依赖关系(对应函数already_uses)，如果已经建立依赖关系，则直接返回；否则，调用函数strong_try_module_get将模块B的引用计数增1，调用函数add_module_usage建立依赖关系。
3. 函数do_init_module调用模块A的初始化函数后，并设置模块A的状态等操作后，调用函数module_put将模块A的引用计数减1（对应第1步中atomic_inc）。

注：模块管理结构体中有一个source_list链表和target_list链表，其中source_list链表中的结点为依赖本模块的其他模块，target_list链表中的结点为本模块依赖的模块。当建立模块A依赖模块B的依赖关系时（add_module_usage），创建结构体struct module_use变量use，将use->source设置为模块A，use->target设置为模块B，将use加入模块B的source_list和模块A的target_list。

2.2 模块卸载

卸载内核模块系统调用对应的内核函数如下：

• delete_module

基于2.1节的假设，模块A依赖模块B，卸载模块A时调用函数delete_module，函数delete_module关于模块引用计数相关的流程如下

 函数try_release_module_ref将模块A的引用计数减去MODULE_REF_BASE（该宏等于1），如果相减后模块A的引用计数不为0，则卸载模块失败（除非使用force卸载模块）；否则，继续卸载流程。

函数module_unload_free遍历模块A的target_list链表的所有结点，每个结点（类型为struct module_use）的target成员（即use->target）指向的模块的索引计数减去1，即将模块B的索引计数减1，然后将结点从链表中删除并释放。简单一句话就是：将模块A依赖的所有模块的引用计数减1。

2.3 文件操作

2.3.1 打开文件

当打开文件时，会将文件所属模块的引用计数增1，这个模块可以是相应的文件系统，也可以是驱动程序（例如drm驱动创建的设备文件）等。调用流程如下：

fops_get的实现如下：

#define fops_get(fops) \
	(((fops) && try_module_get((fops)->owner) ? (fops) : NULL))

2.3.1 关闭文件

当关闭文件时，会将文件所属模块的引用计数减1，调用流程如下：

fops_put的实现如下：

#define fops_put(fops) \
	do { if (fops) module_put((fops)->owner); } while(0)

2.4 其他操作

内核和驱动程序中其它显示调用try_module_get、module_put等函数的地方。