79、内核同步技术详解

grass

于 2025-07-28 07:05:29 发布

阅读量110

点赞数

CC 4.0 BY-SA版权

分类专栏：深入浅出Linux内核编程文章标签： Linux内核同步技术内存管理

本文链接：https://blog.youkuaiyun.com/grass/article/details/149705240

深入浅出Linux内核编程专栏收录该内容

79 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

内核同步技术详解

1. 内存屏障与RCU

RCU（Read-Copy-Update）是一种无锁技术，它会使用适当的内存屏障来确保内存顺序。对于通过 rcu_read_{un}lock() 对保护的RCU读端临界区，只有当处理器为DEC Alpha时才会实际使用屏障；否则，在运行时“锁定”操作不会产生实际效果（除非启用了锁调试）。

若想了解更多关于内存屏障的详细信息，可参考官方文档中“WHERE ARE MEMORY BARRIERS NEEDED?”部分（链接：https://elixir.bootlin.com/linux/v6.1.25/source/Documentation/memory-barriers.txt#L2340 ），该部分深入介绍了需要内存屏障的四种情况。

在大多数情况下，只要正确使用合适的方法（如锁定/无锁API等）来保护临界区，内存屏障的工作会在底层自动处理。对于驱动开发者而言，通常只有在执行如设置DMA描述符、发起和结束CPU与外设之间的通信等操作时，才需要显式使用内存屏障。

2. 标记访问

使用 READ_ONCE() 和 WRITE_ONCE() 宏（即所谓的标记访问，与普通C语言的普通访问相对）对单个变量进行操作，能确保编译器和CPU按照预期执行。它会阻止编译器优化，并根据需要使用内存屏障，从而在不同核心上的多个线程同时访问该变量时保证缓存一致性。

不过，驱动/模块开发者需注意，不要过度依赖 READ_ONCE() 和 WRITE_ONCE() 宏。不建议普通驱动开发者通过使用这些宏来“修复”数据竞争问题。原因在于，对共享可写变量的读写操作本不应出现竞争。若对每个（或几乎每个）共享变量的内存访问都使用 READ_ONCE() 或 WRITE_ONCE() 宏，会导致像KCSAN这样的工具无法检测到可能遇到的错误竞争。因此，这些变量不应通过这些宏进行保护，读写操作应使用普通C语言。开发者应通过设计和代码级实现（如使用互斥锁、自旋锁、 atomic_t / refcount_t 原语、无锁技术（如RCU或每CPU变量等））来正确保护内存访问。此外，KCSAN报告数据竞争往往是代码中存在（严重）逻辑错误的先兆，简单地使用 READ_ONCE() 或 WRITE_ONCE() 宏来消除报告是不可取的。

3. C语言的volatile关键字

使用C语言的 volatile 关键字并不能神奇地解决并发问题。 volatile 关键字只是指示编译器禁用围绕该变量的常见优化（代码路径之外的因素也可能修改被标记为 volatile 的变量）。在驱动中处理内存映射I/O（MMIO）时， volatile 关键字通常是必要且有用的。有趣的是，对于被标记为 volatile 的变量，编译器不会对其读写操作与其他 volatile 变量的读写操作进行重排序，但 volatile 关键字并不能保证原子性。

4. 内核同步总结

在学习内核同步的过程中，我们掌握了如何通过 atomic_t 和较新的 refcount_t 接口更高效、安全地对整数进行锁定操作。了解了如何在更新设备寄存器这一常见操作中原子且安全地使用典型的RMW（Read Modify Write）序列。

读者-写者自旋锁虽然概念上有用，但存在一些注意事项。我们还认识到，由于缓存副作用可能会无意中导致性能问题，例如虚假共享问题，并学习了如何避免这些问题。

详细介绍了对性能有益的无锁算法和编程技术，重点是理解和学习如何在Linux内核中使用每CPU变量和强大的RCU内核同步技术。需要谨慎使用这些技术，尤其是像RCU这样的高级形式。

最后，学习了如何通过配置、构建和使用调试内核，利用内核的锁调试机制来调试常见的锁定问题。其中， lockdep 是检测锁定问题（包括致命死锁）的强大工具。

5. 内核并发问题及解决方法

Linux内核存在并发问题，如数据竞争和死锁。数据竞争可能发生在多核SMP系统、可抢占内核和阻塞I/O操作中。为解决这些问题，可采用以下方法：
- 使用锁机制 ：如互斥锁（mutex）、自旋锁（spinlock）等。互斥锁适用于需要睡眠等待资源的情况，而自旋锁适用于短时间等待的场景。
- 互斥锁的使用步骤：
1. 初始化互斥锁： mutex_init(&mutex);
2. 获取锁： mutex_lock(&mutex);
3. 执行临界区代码
4. 释放锁： mutex_unlock(&mutex);
- 自旋锁的使用步骤：
1. 初始化自旋锁： spin_lock_init(&lock);
2. 获取锁： spin_lock(&lock);
3. 执行临界区代码
4. 释放锁： spin_unlock(&lock);
- 无锁技术 ：如RCU和每CPU变量。RCU适用于读多写少的场景，每CPU变量可减少缓存一致性问题。
- RCU的使用步骤：
1. 读端： rcu_read_lock();
2. 执行读操作
3. rcu_read_unlock();
4. 写端： synchronize_rcu();
- 每CPU变量的使用步骤：
1. 分配： per_cpu_ptr = alloc_percpu(type);
2. 初始化： per_cpu_ptr = ...;
3. 读写操作： __get_cpu_var(per_cpu_ptr) = ...;
4. 释放： free_percpu(per_cpu_ptr);

6. 内核内存管理

内核内存管理涉及多种分配器，如伙伴系统、slab分配器和vmalloc。不同的分配器适用于不同的场景。
- 伙伴系统 ：用于大块内存分配，基于伙伴系统算法。
- 分配内存： get_free_pages(gfp_mask, order);
- 释放内存： free_pages(addr, order);
- slab分配器 ：用于小对象的快速分配和释放，可减少内部碎片。
- 创建自定义slab缓存： kmem_cache_create("my_cache", size, align, flags, ctor);
- 分配对象： kmem_cache_alloc(my_cache, gfp_mask);
- 释放对象： kmem_cache_free(my_cache, obj);
- vmalloc ：用于分配不连续的虚拟内存，适用于大块内存分配。
- 分配内存： vmalloc(size);
- 释放内存： vfree(addr);

7. 内核调度

内核调度涉及多个方面，包括调度算法、调度类和调度策略。
- 调度算法 ：如完全公平调度器（CFS），根据进程的虚拟运行时间进行调度。
- 调度类 ：模块化调度类允许不同类型的进程采用不同的调度策略。
- 调度策略 ：POSIX调度策略包括SCHED_FIFO、SCHED_RR等。

可以通过以下步骤查询和设置线程的调度策略和优先级：
1. 查询调度策略和优先级： sched_getscheduler(pid); 和 sched_getparam(pid, &param);
2. 设置调度策略和优先级： sched_setscheduler(pid, policy, &param);

8. 内核配置和构建

内核配置和构建是内核开发的重要环节。可以通过以下步骤进行：
1. 选择合适的配置选项：可以使用 make menuconfig 或脚本进行配置。
2. 构建内核： make
3. 安装内核： make install

9. 内核调试

内核调试是解决内核问题的关键。可以使用以下工具和方法进行调试：
- 内核日志 ：使用 printk 输出调试信息，可通过 dmesg 查看。
- 内存调试工具 ：如KASAN、KMSAN等，可检测内存错误。
- 锁调试工具 ：如 lockdep ，可检测死锁和锁竞争问题。

10. 总结与展望

通过学习内核同步、内存管理、调度等知识，我们对Linux内核有了更深入的了解。在实际开发中，需要不断实践和探索，才能更好地掌握这些技术。同时，建议关注相关技术的发展，为内核开发做出贡献。

以下是一个简单的mermaid流程图，展示了内核内存分配的基本流程：

graph TD;
    A[开始] --> B{选择分配器};
    B -->|伙伴系统| C[获取空闲页面];
    B -->|slab分配器| D[从slab缓存分配对象];
    B -->|vmalloc| E[分配虚拟内存];
    C --> F[使用内存];
    D --> F;
    E --> F;
    F --> G{是否释放内存};
    G -->|是| H[释放内存];
    H --> I[结束];
    G -->|否| F;

再看一个列表，列举了一些常见的内核同步原语及其适用场景：
| 同步原语 | 适用场景 |
| ---- | ---- |
| 自旋锁 | 短时间等待，不允许睡眠 |
| 互斥锁 | 长时间等待，允许睡眠 |
| RCU | 读多写少的场景 |
| 每CPU变量 | 减少缓存一致性问题 |

内核同步技术详解

11. 内核内存布局与随机化

内核内存布局涉及多个方面，包括内核逻辑地址、内核虚拟地址空间（VAS）等。内核VAS可通过 procmap 等工具进行可视化，其布局包含多个区域，如内核模块空间、vmalloc区域等。

为提高安全性，可使用KASLR（Kernel Address Space Layout Randomization）进行内核内存布局随机化。操作步骤如下：
1. 查询KASLR状态：使用相应脚本进行查询。
2. 设置KASLR状态：同样通过脚本进行设置。

12. 内核模块开发

内核模块开发是内核开发的重要部分。开发内核模块的步骤如下：
1. 编写内核模块代码：包含入口和出口函数，使用合适的宏和API。
- 示例代码：

#include <linux/init.h>
#include <linux/module.h>

static int __init my_module_init(void) {
    printk(KERN_INFO "My module initialized\n");
    return 0;
}

static void __exit my_module_exit(void) {
    printk(KERN_INFO "My module exited\n");
}

module_init(my_module_init);
module_exit(my_module_exit);

MODULE_LICENSE("GPL");

编写Makefile：可使用模板进行编写。

obj-m += my_module.o

all:
    make -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules

clean:
    make -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean

构建内核模块：执行 make 命令。
安装内核模块：使用 insmod 命令加载模块， rmmod 命令卸载模块。

13. 内核任务与线程管理

内核中存在任务和线程，可通过 current 指针访问内核任务结构。操作步骤如下：
1. 访问内核任务结构：使用 current 指针。

struct task_struct *task = current;

遍历内核任务列表：可使用相关函数进行遍历。

struct task_struct *task;
for_each_process(task) {
    printk(KERN_INFO "Process: %s, PID: %d\n", task->comm, task->pid);
}

14. 内核中断处理

内核中断处理是内核的重要功能。中断处理的流程如下：
1. 注册中断处理函数：使用 request_irq 函数。

int request_irq(unsigned int irq, irq_handler_t handler, unsigned long flags,
                const char *name, void *dev);

处理中断：在中断处理函数中进行相应操作。

irqreturn_t my_irq_handler(int irq, void *dev) {
    // 处理中断
    return IRQ_HANDLED;
}

释放中断：使用 free_irq 函数。

void free_irq(unsigned int irq, void *dev);

15. 内核网络相关

内核网络涉及网络接口卡（NIC）等设备。可使用NAPI（New API）提高网络处理性能。操作步骤如下：
1. 初始化NAPI：使用 napi_enable 函数。

void napi_enable(struct napi_struct *napi);

调度NAPI：使用 napi_schedule 函数。

void napi_schedule(struct napi_struct *napi);

处理NAPI：在NAPI处理函数中进行网络数据处理。

16. 内核资源管理

内核资源管理包括设备资源管理和内存资源管理等。可使用devres API进行设备资源管理。操作步骤如下：
1. 分配设备资源：使用 devres_alloc 函数。

void *devres_alloc(dr_release_t release, size_t size, gfp_t gfp);

注册设备资源：使用 devres_add 函数。

void devres_add(struct device *dev, void *res);

释放设备资源：在设备移除时自动释放。

17. 内核性能优化

内核性能优化可从多个方面进行，如缓存优化、调度优化等。以下是一些优化建议：
- 缓存优化：避免虚假共享问题，可通过填充数据结构来解决。
- 调度优化：合理设置线程的调度策略和优先级。

18. 内核安全

内核安全是内核开发的重要考虑因素。可采取以下措施提高内核安全性：
- 内核锁定：使用LSM（Linux Security Module）进行内核锁定。
- 内存保护：使用KASAN等工具检测内存错误。
- 权限管理：合理设置POSIX权限。

19. 总结

本文涵盖了内核同步、内存管理、调度、配置、调试等多个方面的知识。通过系统学习这些知识，我们能够更好地理解和开发Linux内核。在实际应用中，需要根据具体需求选择合适的技术和方法，不断实践和优化，以提高内核的性能和安全性。

以下是一个mermaid流程图，展示了内核中断处理的基本流程：

graph TD;
    A[中断发生] --> B[进入中断处理流程];
    B --> C{是否注册NAPI};
    C -->|是| D[NAPI调度];
    C -->|否| E[传统中断处理];
    D --> F[NAPI处理函数];
    E --> F;
    F --> G[处理中断数据];
    G --> H{是否完成处理};
    H -->|是| I[退出中断处理];
    H -->|否| F;

再看一个列表，列举了一些常用的内核调试工具及其功能：
| 调试工具 | 功能 |
| ---- | ---- |
| KASAN | 检测内存错误 |
| KMSAN | 检测未初始化内存读取 |
| lockdep | 检测死锁和锁竞争问题 |
| printk | 输出调试信息 |