网卡软中断绑定优化

最新推荐文章于 2023-09-22 11:05:05 发布
原创 最新推荐文章于 2023-09-22 11:05:05 发布 · 4.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客总结了处理网卡软中断不均衡问题的经验，包括问题的现象（软中断集中在单个CPU核心，硬件中断队列不足）以及解决办法（中断一对一绑定，启用RFS和RPS）。提供了一个自动化绑定脚本来优化CPU使用平衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


今天测试刚好发现一个关于网卡软中断不均衡的问题，之前处理过类似情况，一直未有总结，今天稍作总结下，并写了个自动化绑定脚本。关于什么是软中断，网卡硬件中断队列，RFS，RPS 这些概，这里不做具体解释。感兴趣可自行google

问题现象：

         1.  网卡软中断不平衡，集中在一个CPU核心上（mpstat 查看%soft集中，通常是cpu0)

         2.  网卡的硬件中断队列不够, < CPU 核心数，无法一对一绑定，导致部分CPU核心%soft 较少，CPU使用不均衡


解决办法：

         情况1： 绑定网卡中断，通常是和CPU 一对一绑定

         情况2： 开启RFS,RPS


最终效果：

mpstat -P

最低0.47元/天 解锁文章

200万优质内容无限畅学
kernel网络之软中断
fengcai_ke的博客
07-18 1477
kernek网络 软中断
网卡软中断过高问题优化总结
weixin_30451709的博客
07-03 1717
问题 多核CPU游戏战斗服务器高峰期时会出现网络丢包, 发现CPU0软中断%si 过高，导致%id值过低触发告警 如下图，在线低峰期软中断%si 处理时间百分比高达20多，id值变低，服务器变卡和丢包，影响业务 中断 什么是中断? 指接收来自硬件或者软件的信号发送给CPU和系统内核进行处理，发出这样的信号称为进行中断请求(IRQ) 中断又分为： 硬中断：外围硬件比如网卡发给...
网卡软中断优化
weixin_33700350的博客
12-22 284
服务器网卡大量并发时候，大家肯定遇到过cpu软中断不均衡情况，都压到cpu0上，其他核的cpu闲着没干活。比如：lvs服务器，高并发的网站服务器，最容易遇到这种问题。有2种解决方法：如果网卡不支持多队列,2.6.21后网卡驱动才支持多队列判断是否支持多队列lspci -vvv 如果有MSI-X && Enable+ && TabSize &g...
Linux CPU网卡软中断性能调优
m0_37383484的博客
09-22 7797
Linux CPU网卡软中断性能调优。
对网卡中断绑定的脚本
weixin_34320159的博客
11-18 147
1 service irqbalance stop 2 3 #@irqnum:网卡eth2的中断数 4 #@cpunum:CPU数目 5 irqnum=`cat /proc/interrupts | grep eth2.*- | awk -F : '{print $1}' | awk '{print $1}'` 6 cpunum=`cat /proc/cpuinfo |...
网卡中断与软中断
MyObject-C的专栏
09-26 8524
查看命令 1. mpstat -P ALL 1  或 mpstat -I SUM -P ALL 1（有的机器得用这个命令）， 2. sar -n DEV 1         显示 网络读写发生在eth1 3. cat /proc/interrupts | grep eth1    通过这个可以查看网卡队列数目，也可以查看哪个cpu占用的软中断 4.top命令查看 Cpu(s):  0...
将网卡软中断绑定指定CPU.pdf
09-29
"将网卡软中断绑定指定CPU" 本文将讲解如何将网卡软中断绑定到指定的CPU上，以提高系统的性能和稳定性。 什么是软中断？ 软中断（Softirq）是一种特殊的中断机制，它允许操作系统将中断处理程序绑定到特定的CPU上...
linux多队列网卡中断绑定,网卡多队列及中断均衡
weixin_27322123的博客
05-03 1196
背景记录网卡多队列及中断均衡相关的笔记，供参考。概念网卡多队列需要硬件和驱动同时支持，通常新服务器上的网卡都是支持的。网卡多队列，即每个CPU一个网卡队列，每个队列对应一个独立的中断。中断均衡问题每个网卡队列对应的中断默认并没有跟相应的cpu做绑定，也就是说默认情况下这些中断都是没有绑定的，那么按内核默认的处理策略，在没有开启irqblance的情况下，对于没有绑定的中断，默认都会在cpu0上运行...
Linux网口中断分配不均,Linux系统针对网卡中断的优化处理
weixin_42467088的博客
05-15 1231
摘要： 中断： 当网卡接收到数据包后，会触发硬中断，通知CPU来收包。硬中断是一个CPU和网卡交互的过程。这其实会消耗CPU资源。特别是在使用速度极快的万兆网卡 之后，大量的网络交互使得CPU很大一部分资源消耗在网卡中断处理上。此时，瓶颈并不在网卡，而是在CPU上。因此，现在的网卡都采用多队列的技术，用于 充...中断：当网卡接收到数据包后，会触发硬中断，通知CPU来收 包。硬中断是一个CPU和网...
linux tcp重传多会导致软中断在各个核很不均匀么？
weixin_34357436的博客
11-09 291
网络不稳定，会导致某些核的软中断很高么?那么，下面我们来分析下这个论断的准确性。 环境描述： 网卡软中断进行了绑核。设备具备80个核，960个网卡中断，没开启bbr，全部是tcp呼叫。 # cat /proc/cpuinfo |grep processor|wc -l 80 # cat /proc/interrupts |grep eth |wc -l 960 ...
linux网卡中断绑核
weixin_42637022的博客
09-22 2021
当网卡接收包时，会发送一个中断信号给CPU，CPU会立即放下手中的事来处理这个信号中信息，比如让这个包先放到内存中。这样的话，如果网卡只绑定一个CPU，那么当网络负载上来了之后，这个CPU将性能下降，直至系统崩溃。所以解决这个问题，就要把网卡的中断信号均衡的绑到各个CPU上。
linux 网卡绑定cpu,将网卡软中断绑定指定CPU
weixin_42351606的博客
05-06 1246
使用以下sh命令将中断与cpu1绑定echo "00000002"> /proc/irq/122/smp_affinityecho "00000002"> /proc/irq/130/smp_affinityecho "00000002"> /proc/irq/138/smp_affinityecho "00000002"> /proc/irq/146/smp_affini...
中断与核的绑定
qq_35399548的博客
07-05 1375
背景：硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。 cpumask_set_cpu和irq_set_affinity： 1、声明cpumask cpumask_t cpumask = CPU_MASK_NONE;/*no bits set*/ 2、设置cpumask cpumask_set_cpu(cpuid,cpumask); /* 设置对应bit为1 */ 3、设置中断与核绑定 irq
网卡中断不均衡处理
weixin_34233679的博客
04-01 578
在数据量大的时候，硬中断和软中断会形成瓶颈。 网卡接收数据包，从网卡产生中断信号，CPU将网络数据包拷贝到内核，然后进行协议栈的处理，最后将数据部分传递给用户空间，但硬件中断处理仅仅做从网卡拷贝数据的工作，而协议栈的处理的工作就交给软中断处理。所以当硬中断和软中断集中在cpu0的时候，会给调度带来负担（集中在其他cpu也会造成性能瓶颈，这里举cpu0的例...
软中断-小结
qq_42693685的博客
07-28 1519
软中断小结
Linux软中断不均的调优
weixin_34402408的博客
11-24 1035
转载 - Linux软中断不均的调优 作者 digoal 日期 2016-11-20 标签 Linux , 软中断 , 监控 , 诊断 , 优化 背景 原文 http://www.aichengxu.com/view/9627015 原文 Rpc程序主要是io bound程序，这里主要针对的是linux的网络的部分性能调优，对于具体的问题具体...
【原创】qlogic网卡软中断不均衡问题分析
weixin_34418883的博客
03-23 626
引子 　　使用qlogic QL45000网卡测试业务性能，发现cpu软中断分布不均衡，而且很有规律，导致cpu空闲也不是很均衡， 会影响业务稳定性。 　　设备使用3张网卡Qlogic网卡，配置为4*25G模式，也就是12个25G网口。三张网卡中其中两张接在物理cpu0上， 另一张接在物理cpu1上。笔者以为是由于三张网卡在物理架构上不均衡导致的cpu软中断不均衡，但是屏蔽了物理...
linux 软中断 网卡,Linux服务器网卡负载不均衡系统软中断解决方案
weixin_39524147的博客
05-02 792
1.后台top查看：2.查看irqbalance状态：3.关闭irqbalance:systemctl status irqbalance4.查看网卡中断号：cat /proc/interrupts |grep s1p1得到中断号本来grep s1p6,但是中断这里名字还是eth7查看cpu内函数：lscpu手动绑定中断号：单个绑定：批量绑定：[root@localhost ~]# cat se...
网卡软中断绑定–网卡中断亲和力
fei的专栏
07-18 3989
在这里先解释下啥是中断亲和力 中断亲和力是指将一个或多个中断源绑定到特定的 CPU 上运行 具体如何操作我这里就不说了,网络上一大片一大片的.我今天这篇文档是用来吐槽的..具体操作请见链接 http://liuxin1982.blog.51cto.com/4338970/1019825 这个链接的文章已经说的很清楚了在操作方面, 只要看过这个,跟着做一边 就知道怎么去操作了
irq软中断
最新发布
03-12
<think>好的，我现在需要回答用户关于Linux内核中IRQ软中断的实现和处理的问题。首先，用户提到了几个引用，我需要结合这些引用来构建回答。 首先，用户引用了关于_bh()后缀的软中断，说明它仍然会禁用软中断处理程序[^1]。这可能涉及到软中断的上下文和禁用机制。接下来，用户引用了关于SMP和IO APIC的内容[^2]，这可能与中断在多核环境中的处理有关。第三个引用提到中断处理程序将RX缓冲区条目加入轮询列表，并触发软中断处理数据包[^3]，这可能涉及网络数据包的处理流程。 我需要先解释IRQ软中断的基本概念。软中断（softirq）是Linux内核中处理延迟敏感任务的一种机制，通常在硬件中断处理程序（上半部）之后执行，属于中断的下半部（bottom half）。这样可以减少硬件中断的延迟，提高系统的响应能力。 然后，实现方式部分需要涵盖软中断的初始化、注册、触发和处理流程。例如，softirq_vec数组存储处理函数，open_softirq()用于注册，raise_softirq()触发软中断，而处理可能在中断退出时或ksoftirqd线程中进行。引用中的触发软中断可能对应raise_softirq()的调用。 处理流程方面，需要提到在中断上下文中（如网络驱动处理数据包后）触发软中断，然后在适当的时机（如中断返回前或ksoftirqd线程）执行。这里需要结合引用中的例子，说明数据包处理如何通过软中断完成。 相关问题部分，用户可能对性能优化、多核处理、与tasklet的区别、调试方法感兴趣。例如，如何避免软中断过载（引用[^1]提到禁用软中断的情况），多核环境中的负载均衡（引用涉及SMP），以及调试工具如ftrace的使用。 需要注意引用标记的正确使用，确保每个引用在回答中自然出现，例如在处理流程部分引用，在禁用机制部分引用[^1]，在多核处理部分引用。同时，保持回答结构清晰，分点解释概念、实现、处理流程和相关问题。</think>### Linux内核中的IRQ软中断实现与处理 #### 一、IRQ软中断的基本概念 软中断（softirq）是Linux内核中用于处理延迟敏感任务的核心机制，属于中断下半部（bottom half）的一种实现。硬件中断（上半部）负责快速响应设备事件，而软中断则处理耗时操作（如网络数据包处理、定时任务等），以减少中断屏蔽时间。 #### 二、软中断的实现方式 1. **数据结构** 内核通过`softirq_vec`数组管理软中断处理函数，每个条目对应一种类型的软中断： ```c struct softirq_action { void (*action)(struct softirq_action *); }; static struct softirq_action softirq_vec[NR_SOFTIRQS]; ``` 2. **注册与触发** - 使用`open_softirq()`注册处理函数，例如网络子系统注册`NET_RX_SOFTIRQ`： ```c open_softirq(NET_RX_SOFTIRQ, net_rx_action); ``` - 通过`raise_softirq(int nr)`触发软中断，例如网络驱动接收数据后触发。 3. **执行上下文** 软中断在以下两种场景执行： - **中断退出路径**：硬件中断处理完成后，调用`irq_exit()`时检查并执行。 - **ksoftirqd线程**：若软中断负载过高，内核线程`ksoftirqd/CPU编号`会接管处理。 #### 三、软中断处理流程 1. **触发阶段** 硬件中断处理程序（如网卡中断）将数据加入队列，调用`raise_softirq(NET_RX_SOFTIRQ)`标记软中断待处理。 2. **执行阶段** - 内核调用`__do_softirq()`遍历`softirq_vec`，执行所有已触发的软中断。 - 若执行时间超过`MAX_SOFTIRQ_TIME`（2ms）或触发次数超过`MAX_SOFTIRQ_RESTART`（10次），剩余任务交由`ksoftirqd`线程处理。 #### 四、关键特性与优化 1. **并发控制** - 使用`local_bh_disable()`/_bh()后缀函数禁用软中断，防止重入。 - 通过每CPU变量（如`irq_stat[CPU].__softirq_pending`）实现无锁化处理。 2. **多核负载均衡** 在SMP系统中，软中断可绑定到特定CPU或由调度器动态分配。禁用IO APIC（如`nosmp`参数）会影响中断路由[^2]。 #### 五、典型应用场景 1. **网络协议栈** `NET_RX_SOFTIRQ`处理接收数据包，`NET_TX_SOFTIRQ`处理发送完成通知。 2. **块设备层** `BLOCK_SOFTIRQ`用于IO请求完成回调。 3. **定时器** `TASKLET_SOFTIRQ`调度延迟任务（如高精度定时器）。 ```c // 示例：触发网络接收软中断 void netif_rx(struct sk_buff *skb) { // 将数据包加入队列 __skb_queue_tail(&queue, skb); raise_softirq_irqoff(NET_RX_SOFTIRQ); // 触发软中断 } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值