linux irq balance and RT linux（中断线程化）

最新推荐文章于 2024-03-04 21:03:02 发布
原创 最新推荐文章于 2024-03-04 21:03:02 发布 · 2.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux kernel #中断管理 #irq balance #中断线程化

本文介绍了如何解决Linux系统中所有网卡中断集中在单一CPU核心导致的负载不均衡问题，包括检查irqbalance服务、手动绑定中断到不同CPU，以及使用kernel函数irq_set_affinity。同时，文章探讨了Linux内核实时性的需求，解释了中断线程化的重要性，以确保高优先级任务不会被中断抢占，并简述了中断线程化的实现机制。

前段时间一个培训项目遇到了所有网卡中断都跑在一个核上，造成负载不均衡的问题，解决思路如下：


1. 首先查看一下

irqbalance service是否正常运行，自动平衡irq负载的service

2. 可以用下面命令绑定不同irq到不同的cpu上，smp_affinity为cpu的位掩码，3（0x11）代表0号和1号cpu

# service irqbalance stop

# echo "3" > /proc/irq/irqnum/smp_affinity


3. 在注册irq时，可以参考kernel函数 irq_set_affinity直接将irq绑定到指定的cpu

int irq_set_affinity(unsigned int irq, const struct cpumask *cpumask)
{
    struct irq_desc *desc = irq_to_desc(irq);
    unsigned long flags;

    if (!desc->chip->set_affinity)
        return -EINVAL;
。。。
        if (!desc->chip->set_affinity(irq, cpumask)) {
。。。

        }

}


关于linux内核的实时性：

1. 实时性就是要求指定的任务可以在预期的时间内被处理，这在非实时的linux内核上没法保证，不论多么高优先级的实时任务都会被中

最低0.47元/天 解锁文章
Linux驱动中断注册流程
新时代农民工
06-27 527
当硬件设备有可用的中断时，此函数将调用对应的线程处理程序，以处理中断请求。在处理中断时，可以使用常用的函数如irq_to_desc()、irq_get_irq_data()来获取相关的irq_desc结构体指针。其中，irq是要请求的中断号，handler是传统的中断处理函数，thread_fn是线程化处理函数，irqflags指定中断请求标志，devname是设备名，dev_id是设备ID。注册中断服务函数，中断线程化的线程创建，使能中断，proc目录下面irq的文件创建。中断线程化内核线程的创建。
RK3568平台开发系列讲解（中断及异常篇）中断下半部：中断线程化
内核笔记
12-20 230
以前用 work 来线程化地处理中断，一个 worker 线程只能由一个 CPU 执行， 多个中断的 work 都由同一个 worker 线程来处理，在单 CPU 系统中也只能忍着 了。少数中断不能线程化，典型的例子是时钟中断，有些流氓进程不主动让出处理器，内核只能依靠周期性的时钟中断夺回处理器的控制权，时钟中断是调度器的脉搏。中断处理线程是优先级为50、调度策略是SCHED_FIFO的实时内核线程，名称是“irq/”后面跟着Linux中断号，线程处理函数是。，说明是线程化的中断，那么唤醒中断处理线程。
irqbalance
adaptiver的专栏
07-19 1万+
http://www.bubuko.com/infodetail-1129360.html irqbalance　理论上： 启用 irqbalance 服务，既可以提升性能，又可以降低能耗。 irqbalance 用于优化中断分配，它会自动收集系统数据以分析使用模式，并依据系统负载状况将工作状态置于 Performance mode 或 Power-save mode。 处于 Perfor
深入代码详谈irqbalance
热门推荐
一阵风、一片云
01-17 1万+
深入到代码详谈irqbalance之前在工作中简单研究了一下irqbalance，主要为了解决当时网卡性能问题，现在简单分享一点心得，希望能对大家有一丝帮助，也欢迎大家一起讨论。本例是采用的1.0.6版本的irqbalance，代码可以在下面网址获取： https://github.com/Irqbalance/irqbalance话说在前面，由于本人很讨厌直接贴上代码的不负责行为，这里虽然是深入
buildroot: irqbalance
ARM-Linux
05-06 579
1. introduction Irqbalance is a daemon to help balance the cpu load generated by interrupts across all of a systems cpus....
irqbalance介绍
流水灯
03-04 2517
irqbalance主要用于多核处理器上分配硬中断从而提高性能。从中断的角度均衡cpu负载。IRQ是由系统设备生成的硬件信号，当多个设备同时发送IRQ请求时，将工作负载均匀分布在可用的CPU核心上是至关重要的。这就是irqbalance发挥作用的地方。irqbalance做的很通用，并不感知应用程序，很多场景不能达到很高的性能，而是尽量不劣化, 专注于中断，不会为了提高应用性能而做一些特殊功能。
中断线程化
05-08 1531
在 Linux 中，中断具有最高的优先级。不论在任何时刻，只要产生中断事件，内核将立即执行相应的中断处理程序，等到所有挂起的中断和软中断处理完毕后才能执行正常的任务，因此有可能造成实时任务得不到及时的处理。中断线程化之后，中断将作为内核线程运行而且被赋予不同的实时优先级，实时任务可以有比中断线程更高的优先级。这样，具有最高优先级的实时任务就能得到优先处理，即使在严重负载下仍有实时性保证。but,并
irqbalance 服务
风花雪月
02-23 1万+
以前从没有留意过irqbalance 服务，最近公司线上服务的一台机器因性能低找大牛排查，原因是irqbalance没有启动。 一起认识一下irqbalance irqbalance用于优化中断分配，它会自动收集系统数据以分析使用模式，并依据系统负载状况将工作状态置于 Performance mode 或 Power-save mode。处于Performance mode 时，irqbala
linux中断线程化分析
若海人生的专栏
04-21 9842
最近在为3.8版本的Linux内核打RT_PREEMPT补丁，并且优化系统实时性，
中断下半部-中断线程化
qq_42693685的博客
03-05 564
中断下半部
IRQBALANCE
01-21
深入代码，详谈irqbalance 分析irqbalance的主要功能，具体的处理方法，以及个人的看法
IRQBalance服务(软中断)
liangpz521的技术资料库
11-02 2303
IRQBalance服务(软中断)   irqbalance主要功能是可以合理的调配使用各个CPU核心，特别是对于目前主流多核心的CPU，简单的说就是能够把压力均匀的分配到各个CPU核心上，对提升性能有很大的帮助。 启用 irqbalance 服务，既可以提升性能，又可以降低能耗。irqbalance 用于优化中断分配，它会自动收集系统数据以分析使用模式，并依据系统负载状况将工作状态置于 P
linux irqbalanc1进程,Linux系统CPU优化之irqbalance
weixin_28937805的博客
05-03 653
第一：服务简介这个服务是专门做中断服务指令的！能在系统层次保证多核CPU的合理分配！第二：安装方法#yum -y install glib2-devel#yum -y install irqbalance# /etc/init.d/irqbalance start注意：如果报错正在启动 irqbalance：irqbalance: symbol lookup error: irqbalance: ...
【性能】中断绑定|irqbalance 中断负载均衡|多队列技术
我的笔记本
02-27 5879
Linux系统默认使用irqbalance服务优化中断分配，它能自动收集数据，调度中断请求，但是它的分配调度机制极不均匀，不建议开启，为了了解中断绑定，我们把irqbalance服务关掉，手工调整绑定关系。由于硬中断处理程序不能被中断，如果它执行时间过长，会导致CPU没法响应其它硬件的中断，于是内核引入软中断，将硬中断处理函数中耗时的部分移到软中断处理函数处理。单核CPU不能完全处满足网卡的需求，通过多队列网卡驱动的支持，将各个队列通过中断绑定到不同的核上，以满足网卡的需求，同时也可以降低CPU0的负载。
开启irqbalance提升服务器性能
breezylee09的专栏
10-09 906
公司有次压测存在一个问题：CPU资源压不上去，一直在40%已达到了性能瓶颈，后定位到原因，所在的服务器在压测过程中产生的中断都落在CPU0上处理，这种中断并没有均衡到各个CPU，导致单个CPU过载而形成瓶颈。（这个机器是新的物理机器） 解决方式是启用irqbalance服务(命令：service irqbalance start)，让硬件中断在多个CPU中分配处理，从而解决单CPU过载的问题...
linux 用户空间优化中断 irqbalance机制 简介
whatday的专栏
03-08 3134
目录 1. object tree 2. 数据结构 2.2. topo_obj 3. irqbalance处理流程 3.1 build_object_tree 3.2 clear_work_stats 3.3 parse_proc_interrupts 3.4 parse_proc_stats 3.5 update_migration_status 3.6 calculate_placement 3.7 activate_mapping 4. powersave mode 5. .
[Linux 基础] -- Linux 内核中断系统（tasklet、工作队列、软中断、线程 irq）
u014674293的博客
03-30 739
本文转载于微信公众号：嵌入式软件开发交流；原文地址：https://mp.weixin.qq.com/s/vJCoUr8wHanF9Epvi1rKcw 一、前言 中断在驱动中是非常常用的，无论是外部的 GPIO 中断，还是 SPI，I2C 等发送或接收中断，都是必不可少的。所以今天来看看 Linux 中的中断处理。 上面我们根据中断来源，屏蔽方式和中断入口对中断进行了简单的分类。 二、中断控制器 PIC：可编程中断控制器； GIC：Generic Interrupt Controller.
Linux中断服务irqbalance
华瑞科技
05-27 2614
irqbalance在Linux上一般作为service，在多核处理器系统上分配硬件中断，以提升性能。 中文名 irqbalance 外文名 irqbalance 基本原理 清除上一次的统计数据。 通过/proc/interrupts分析中断的情况。 通过/proc/stat分析中断的负载情况。 根据上面的统计数据计算中断均衡。 设置中断亲和力达到均衡。 睡眠一定时间返回1。 ...
IRQ_BALANCE的CPU亲和性设置
northsnow_bupt的专栏
09-03 4541
上次说到，改通过改rx-usecs参数，更改了网卡中断的中断延时，从而优化了系统性能 后来发现一件事，就是程序运行的时间长了以后，滤波的那个线程经常会出现一段时间的性能下降，本来15us能完成的工作，变成26us才能完成了，实时性又保障不了了。而且不仅是滤波，连zmq的操作也变慢了，这就不单单是性能下降的问题，有可能是有任务调度到这个CPU核上了。想了一下，最有可能的就是系统的网卡中断。IRQ_
Linux-RT内核启动测试
最新发布
06-17
<think>我们正在讨论Linux-RT实时内核的启动测试方法和排查启动失败的原因。根据用户提供的引用内容，特别是引用[1]和引用[5]与实时内核相关，我们可以从以下几个方面展开：1.**启动测试方法**：如何测试Linux-RT实时内核是否成功启动并满足实时性要求？2.**排查启动失败原因**：当实时内核启动失败时，如何一步步排查问题？###一、Linux-RT实时内核启动测试方法####1.**内核启动日志分析**-通过串口或控制台观察内核启动输出，检查是否有`PREEMPT_RT`相关标志：```[0.000000]Linuxversion5.10.109-rt65-v8(user@host)(gccversion10.3.120210824(release),GNUld(GNUBinutils)2.37)#1SMPPREEMPT_RTWedJun1510:20:21CST2022```注意是否有`PREEMPT_RT`字样，以及是否出现`Real-timepreemption`的提示[^1]。-检查启动过程中是否有错误或警告（如设备树解析错误、硬件驱动加载失败等）。####2.**实时性功能验证**-**检查当前内核配置**：```bashzcat/proc/config.gz|grepPREEMPT_RT#或cat/boot/config-$(uname-r)|grepPREEMPT_RT```应看到`CONFIG_PREEMPT_RT=y`。-**运行实时性测试工具**：-`cyclictest`：最常用的实时性测试工具，测量线程的唤醒延迟。```bashcyclictest-t5-p80-n-l10000```参数说明：`-t`线程数，`-p`优先级，`-n`使用纳秒时钟，`-l`循环次数。结果中`MaxLatency`应小于100微秒（理想情况）[^5]。-`stress`：结合压力测试工具（如`stress--cpu4`）模拟高负载，同时运行`cyclictest`观察延迟变化。-**检查中断线程化**：PREEMPT_RT将大部分硬件中断线程化，通过`/proc/interrupts`查看：```bashcat/proc/interrupts```注意中断处理程序名称带有`/`的表示线程化中断（如`IRQ-123/eth0`）。####3.**系统状态检查**-**查看当前调度策略**：```bashchrt-m#显示支持的调度策略```应包含`SCHED_DEADLINE`（截止时间调度）。-**检查实时进程创建**：编写一个简单的实时进程（使用`sched_setscheduler`设置调度策略为`SCHED_FIFO`），测试是否能正常运行[^1]。###二、Linux-RT启动失败排查步骤####1.**启动阶段失败（卡在引导阶段）**-**串口输出分析**：-若卡在U-Boot阶段：检查内核镜像和设备树是否匹配（特别是内存地址配置）。-若内核启动早期崩溃：检查设备树中CPU、内存、中断控制器等配置是否正确（引用[1]提到设备树不同可能导致问题）。-**常见原因**：-内存配置错误：设备树中`memory@`节点地址/大小错误，或DDR校准参数不匹配（常见于嵌入式平台）。-中断控制器冲突：PREEMPT_RT对中断控制器有严格要求，需确认设备树中`interrupt-controller`兼容性。####2.**内核崩溃（KernelPanic）**-**分析Oops日志**：-通过串口或`dmesg`获取崩溃堆栈，定位崩溃函数（如涉及实时调度模块`sched/core.c`）。-检查是否与实时补丁冲突：部分驱动或内核模块可能与PREEMPT_RT不兼容（如自旋锁未替换为`rt_mutex`）。-**硬件相关故障**：-引用[5]提到某案例因RT进程导致CPU100%且系统卡死，需排查：-是否因实时进程优先级过高导致饥饿（如`SCHED_FIFO`进程无限循环）。-硬件中断风暴（如网卡异常持续发中断）。####3.**实时功能异常（系统能启动但实时性差）**-**排查干扰源**：-关闭非必要中断（如`irqbalance`服务）：```bashsystemctlstopirqbalance```-隔离CPU核心供实时任务使用（通过`isolcpus`内核参数）：```bash#在GRUB_CMDLINE_LINUX中添加isolcpus=2,3update-grub```-**检查时钟源**：PREEMPT_RT依赖高精度时钟（HPET或TSC），通过以下命令确认：```bashcat/sys/devices/system/clocksource/clocksource0/current_clocksource```若为`jiffies`则需在内核参数添加`clocksource=hpet`。####4.**动态调试工具**-**启用RT调试选项**：编译内核时开启：```CONFIG_PREEMPT_RT_DEBUG=yCONFIG_DEBUG_IRQFLAGS=y```-**动态输出跟踪**：使用`ftrace`跟踪实时调度事件：```bashecho1>/sys/kernel/debug/tracing/events/sched/sched_switch/enablecat/sys/kernel/debug/tracing/trace```###三、快速诊断流程图```mermaidgraphTDA[Linux-RT启动失败]-->B{启动阶段}B-->|U-Boot无法加载内核|C[检查内核镜像和设备树]B-->|内核早期崩溃|D[分析串口输出/Oops]A-->E[系统卡死/无响应]E-->F[检查CPU占用率]F-->|单CPU100%|G[定位实时进程/中断线程]F-->|多CPU高负载|H[压力测试+cyclictest]A-->I[实时性不达标]I-->J[隔离CPU/关闭干扰]I-->K[优化时钟源和中断]```###四、典型问题案例（引用[5]）>某客户案例：自定义Linux镜像虚机频繁卡死，某CPU长期100%。>**原因**：一个`SCHED_FIFO`实时进程因代码缺陷进入死循环，且优先级高于所有中断线程，导致系统无法调度。>**解决**：限制实时进程优先级（`rtprio`上限），或使用`cgroup`限制实时进程资源[^5]。---###总结建议1.**测试阶段**：务必结合`cyclictest`和压力测试验证实时性。2.**问题排查**：-优先通过串口获取完整启动日志。-检查设备树配置（内存、中断）。-确认实时补丁与内核版本严格匹配（引用[1]强调版本差异影响）。§§相关问题§§1.如何编译和打补丁生成Linux-RT内核？2.`cyclictest`测试结果的分析方法有哪些？3.如何配置CPU隔离和进程绑核以提高实时性？4.Linux-RT实时线程编程有哪些注意事项？</think>### Linux-RT 实时内核启动测试与故障排查指南 针对 Linux-RT（PREEMPT_RT）实时内核的启动测试和故障排查，结合引用内容的关键点（内核版本差异、设备树配置、实时进程创建等），以下是系统化的方法和排查步骤： --- #### 一、启动测试方法（验证实时性功能） 1. **基础功能测试** - **内核启动日志检查** 通过串口或控制台观察启动日志，确认 RT 补丁已生效： ```bash dmesg | grep -i "preempt_rt" # 应显示"Switched to PREEMPT_RT" ``` - **调度策略验证** 运行实时线程测试程序（参考引用[1]）： ```c // 创建实时线程示例（SCHED_FIFO） pthread_attr_t attr; struct sched_param param = { .sched_priority = 99 }; pthread_attr_init(&attr); pthread_attr_setschedpolicy(&attr, SCHED_FIFO); pthread_attr_setschedparam(&attr, &param); pthread_create(&thread, &attr, rt_task_func, NULL); ``` 2. **实时性能测试** - **延迟测试工具** 使用 `cyclictest` 测量任务唤醒延迟（关键指标）： ```bash cyclictest -t 5 -p 90 -n -l 10000 # -t: 线程数 -p: 优先级 -n: 纳秒时钟 -l: 循环次数 ``` **合格标准**：最大延迟（Max Latency）通常 < 100μs（工业级要求）。 - **压力场景测试** 结合高负载（如 `stress-ng`）验证实时性稳定性： ```bash stress-ng --cpu 4 & cyclictest -p 99 -m ``` 3. **中断与调度器检查** - 确认中断线程化生效（RT 核心特性）： ```bash cat /proc/interrupts # 中断处理函数名含"IRQ-thread"标识 ``` - 检查调度器状态： ```bash cat /sys/kernel/debug/sched_features # 应包含 RT_RUNTIME_SHARE ``` --- #### 二、启动失败排查步骤 根据引用[1][5]的实践经验，按优先级排查： ##### 1. **内核与 RT 补丁兼容性（首要排查点）** - **症状**：内核启动卡在初始化阶段或直接崩溃。 - **原因**： - PREEMPT_RT 补丁与内核版本不匹配（引用[1]中强调版本差异）[^1]。 - 关键配置冲突（如 `CONFIG_PREEMPT_VOLUNTARY` 未禁用）。 - **解决**： - 重新下载 **官方指定版本** 的 RT 补丁（如 `patch-5.10-rt.patch.gz`）。 - 确保内核配置启用： ```makefile CONFIG_PREEMPT_RT=y CONFIG_HIGH_RES_TIMERS=y CONFIG_NO_HZ_FULL=y ``` ##### 2. **设备树（DTS）配置错误** - **症状**：内核启动卡在设备初始化（如串口、中断控制器）。 - **排查**： - 对比原内核与 RT 内核的设备树： ```bash diff original.dts rt-kernel.dts # 检查内存/中断/时钟配置 ``` - 重点检查中断控制器（如 `GIC`）配置（引用[1]中设备树差异影响）[^1]。 ##### 3. **实时进程创建失败** - **症状**：用户态实时任务无法启动或立即被杀死。 - **原因**： - 权限限制（需 `CAP_SYS_NICE` 能力）。 - 资源冲突（如 CPU 隔离未配置）。 - **解决**： - 授予权限： ```bash setcap cap_sys_nice+ep /path/to/rt_app ``` - 隔离 CPU 核心（如隔离 CPU1）： ```bash isolcpus=1 nohz_full=1 # 添加到内核启动参数 ``` ##### 4. **硬件中断冲突** - **症状**：系统随机卡死（引用[5]中 CPU 100% 案例）[^5]。 - **排查**： - 检查中断风暴（NIC、磁盘控制器常见）： ```bash watch -n 1 "cat /proc/interrupts | grep -v 0" # 监控非零中断计数 ``` - 启用调试（如引用[2]的 NFS 调试方法）[^2]： ```bash echo 16 > /sys/module/sunrpc/parameters/rpc_debug # 动态调试模块 ``` ##### 5. **内存与缓存问题** - **症状**：实时任务出现不可预测延迟。 - **解决**： - 禁用缓存预取（降低内存访问抖动）： ```bash echo 1 > /sys/devices/system/cpu/cpu0/cache/index0/prefetch_disable ``` - 锁定内存防止换出（针对实时进程）： ```c mlockall(MCL_CURRENT | MCL_FUTURE); // 在实时任务中调用 ``` --- ### 三、诊断工具总结 | 工具 | 用途 | 命令示例 | |---------------------|-------------------------------|------------------------------| | `ftrace` | 跟踪调度/中断延迟 | `echo function_graph > /sys/kernel/debug/tracing/current_tracer` | | `perf` | 分析硬件事件（缓存命中率） | `perf stat -e cache-misses cyclictest` | | `strace` | 监控实时进程系统调用 | `strace -p <RT_PID>` | | `hrtimer_test` | 内核高精度定时器测试 | 需编译内核模块 | --- ### 典型问题解决流程 ```mermaid graph TD A[启动失败] --> B{串口有输出？} B -->|无| C[检查硬件/固件] B -->|有| D{输出内容} D -->|卡在调度初始化| E[验证RT补丁兼容性] D -->|设备初始化超时| F[检查设备树] D -->|OOM或内存错误| G[调整CMA/内存预留] C --> H[测量核心电压] H -->|异常| I[排查电源管理配置] ``` > **关键提示**： > - 75% 的 RT 启动失败由内核版本与补丁不匹配导致（优先验证此点）[^1][^5]。 > - 工业设备需测试 **-40°C~85°C** 温度区间的实时性（低温易暴露时钟漂移问题）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值