浅谈NVMe与MSI-X

最新推荐文章于 2025-09-12 05:33:59 发布
原创 最新推荐文章于 2025-09-12 05:33:59 发布 · 8.8k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#NVMe #PCIe #MSI #MSI-X

本文探讨了为何PCIe外设驱动从INTx转向MSI/MSI-X，强调MSI-X的中断数量优势和上下文切换影响小的特性。详细解释了MSI-X的发生过程，并阐述了NVMe协议中的CQ vector如何与MSI-X结合工作，通过中断处理流程展示了两者如何协同完成中断管理。

（阅读本文前需对NVMe/PCIe/MSI有一定的了解）

INTX与MSI

为什么在越来越多的PCIe外设驱动中摒弃INTx，而采用MSI/MSI-X？概括有三：

1. 单个设备INTx最多支持4个中断，MSI支持最多32个中断，MSI-X可以达到更多。

2. INTx需要专门的中断pin。

3. INTx随时发生，MSI发生在DMA完成后，对上下文切换影响较小。

MSI-X如何发生

       

最低0.47元/天 解锁文章
手把手教你学PCIE--MSI-X 基本概念（八）：设备通过写入特定的地址和数据来触发 MSI-X 中断流程
MHD0815的博客
04-04 164
当设备需要触发一个中断时，它会向 MSI-X 表中指定的条目对应的 Message Address 和 Message Data 发送一个写操作。这种设计使得每个 MSI-X 条目都可以独立触发中断，并且可以通过不同的中断处理函数进行处理，提高了系统的灵活性和性能。设备通过写入特定的地址和数据来触发 MSI-X 中断时，这个过程涉及硬件和软件之间的交互。来启用 MSI-X 中断。内核会为每个条目分配一个中断向量号（IRQ 号），并将这些信息保存在。在初始化阶段，驱动程序通过设置。
手把手教你学pcie--msix中断机制：高效的任务处理模型：MSI-X（Message Signaled Interrupts Extended） 中断机制结合 queue_work 和工作队列
MHD0815的博客
04-09 341
和工作队列，可以实现一种高效的任务处理模型。这种设计常见于现代设备驱动程序中，尤其是在高性能设备（如网卡、GPU、存储控制器等）的驱动中。通过结合 MSI-X 和工作队列，可以在中断处理函数中快速响应硬件事件，并将复杂的任务推迟到工作队列中执行。这种设计模式广泛应用于现代设备驱动程序中，能够显著提高系统的性能和可靠性，同时保持代码的清晰性和可维护性。
突破PCIe设备性能瓶颈：msix_table_size参数深度优化指南
最新发布
gitblog_00728的博客
09-12 979
当高性能PCIe（Peripheral Component Interconnect Express，外设组件互连高速）设备遭遇每秒钟数十万次的中断请求时，传统中断处理机制会导致严重的性能瓶颈。本文将深入解析Linux内核中`msix_table_size`参数的工作原理，提供从硬件特性到内核实现的完整优化路径，帮助开发者充分释放PCIe设备的I/O潜能。通过本文，你将掌握： - MSI-X（M...
MSI/MSI-X Capability结构
whut_gyx的专栏
01-10 3040
PCIe设备可以使用MSI或者MSI-X报文向处理器提交中断请求，但是对于某个具体的PCIe设备，可能仅支持一种报文。在PCIe设备中含有两个Capability结构，一个是MSI Capability结构，另一个是MSI-X Capability结构。通常情况下一个PCIe设备仅包含一种结构，或者为MSI Capability结构，或者为MSI-X Capability结构。
【60】MSI-X介绍
热门推荐
linjiasen的博客
04-30 1万+
MSI中断 介绍MSI-X中断之前，我们先来看看MSI中断的机制 MSI中断本质上是一个memory write，memory write的地址就是设备配置空间的MSI address寄存器的值，memory write的数据就是设备配置空间的MSI data寄存器的值。Message address寄存器和message data寄存器是调用pci_enable_msi时，系统软件填入...
MSI-X（Message Signaled Interrupts eXtended）
探索未知，成就非凡
07-03 742
MSI-X通过使用消息传递的方式来替代中断线，每个设备可以分配多个消息向量（Message Vector），每个消息向量对应一个中断。它可以减少中断冲突、支持更多的设备并行操作，并降低中断处理的延迟，从而提高系统的性能和可靠性。MSI-X的使用需要硬件和操作系统的支持。降低中断处理延迟：由于每个消息向量都与特定设备相关联，因此可以更快地将中断传递给相应的设备驱动程序，从而降低了中断处理的延迟。减少中断冲突：由于每个设备可以分配独立的消息向量，因此减少了中断冲突和中断共享的可能性，提高了系统的可靠性和性能。
PCIE MSI/MSI-X介绍
程序人生
11-01 1908
ITS将接收到的LPI中断，进行解析，然后发送到对应的redistributor，再由redistributor将中断信息，发送给cpu interface。需要将外设发送的DeviceID，eventID，通过一系列查表，得到LPI的中断号以及该中断对应的target redistributor，然后将LPI中断，发送给对应的redistributor。因为有了cache，所以LPI中断的配置信息，就有了2份拷贝，一份在memory中，一份在redistributor的cache中。
nvme-cli-1.8.1-3.el7.x64-86.rpm.tar.gz
01-30
文件名为"nvme-cli-1.8.1-3.el7.x64-86.rpm.tar.gz"的压缩包包含了nvme-cli的rpm包文件，适用于64位的RHEL 7系统（.el7）。该压缩包内包含一个rpm文件，即"nvme-cli-1.8.1-3.el7.x86_64.rpm"，这是一个预编译的...
精选资源
nvme-cli-1.8.1-3.el7.x86-64.rpm
05-20
nvme_cli工具，rpm安装
nvme-cli-1.6-2.oe1.aarch64.rpm
08-13
NVMECLI工具RPM
谈谈关于NVMe和NVMe-oF的那些事.docx
10-24
与使用本地主机的PCIe总线的NVMe存储设备的延迟相比，NVMe-oF的最初设计目标是在通过合适的网络结构连接的NVMe主机和NVMe存储目标之间添加不超过10微秒的延迟。 在技术细节和工作机制上，NVMe-oF和NVMe有很大不同，...
MSI和MSI-X技术文档
12-21
本文阐述MSI（标准消息告知中断）和MSI-X（扩展消息告知中断）的相关概念，以及它们之间的异同点
MSI和MSI-X原理和特点
12-20
本文详细描述MSI和MSI-X中断的原理和它们之间的关系，以及PCI规范中的MSI设计
MSI/MSI-X
weixin_30254435的博客
08-29 137
MSI PCI2.2规范引进了MSI作为传统的基于线的中断的替代方案。MSI允许设备通过向一个特定的地址写入一个特定的值来允许中断，而不是使用一个专有的引脚来触发中断。注意消息的目的地址和消息数据被当做向量。MSI比传统的中断提供了如下的关键优点： 一个PCI功能可以请求多达32个MSI消息 它们是带内消息，而不是使用引脚，而且选择在host 桥上的目标地址。 它们可以和中断消息一起...
MSI-X介绍
runshui27的博客
10-22 249
https://www.pianshen.com/article/45721166167/
MSI-X总结
qq_35399548的博客
07-06 2440
PCIe有三种中断,分别为INTx中断，MSI中断，MSI-X中断，其中INTx是可选的，MSI/MSI-X是必须实现的。 MSI， message signal interrupt, 是PCI设备通过写一个特定消息到特定地址，从而触发一个CPU中断。特定消息指的是PCIe总线中的Memory Write TLP, 特定地址一般存放在MSI capability中。 1、 MSI-X Capabiliity结构 MSI-X中断机制提出目的是扩展PCIe设备使用的中断向量个数（次要），同时解决MSI中断要求使
PCIe扫盲——中断机制介绍（MSI-X）
zsmcdut的博客
09-08 581
转http://blog.chinaaet.com/justlxy/p/5100057843 PCI总线自3.0版本开始支持MSI-X机制，对MSI做出了一些升级和改进，以克服MSI机制的三个主要的缺陷： 1.     随着系统的发展，对于特定的大型应用，32个中断向量不够用了（参考前一篇文章）； 2.     只有一个目标地址使得
MSI 与 MSIX
yyt8yyt8的专栏
04-10 2896
PCI 规范2.2 描述了MSI， optional   MSI 目的：1. 允许一个设备申请多个中断，避免了共享中断，提高了效率，（最多32， 必须是2的倍数，MSIX则最多2048个）；2. 当设备写入内存数据然后发起中断的时候有可能数据并未写入，CPU必须读设备的寄存器才能确定写完了；但是如果MSI中断，同样是写操作，中断肯定在数据写完以后才能收到； MSI操作： 在configrat
msi-x 机制 --- linux kernel 实现欣赏
500
08-31 735
待上传.
Linux nvme dirver msi-x interrupt 函数
07-25
<think>嗯，用户这次的问题非常专业，是关于Linux NVME驱动中MSI-X中断处理函数的实现细节。从问题深度来看，用户应该是内核开发者或驱动工程师，正在调试NVMe设备的中断问题。 用户引用的两段材料很有意思。第一段提到/dev下出现nvme设备节点，说明用户已经成功加载驱动；第二段提到用fio测试磁盘IO时搞坏了rootfs，这提示用户可能在压力测试时遇到中断处理异常导致系统崩溃。结合这两个线索，用户真实需求可能是：在高压环境下调试NVME中断丢失的问题。 关于MSI-X中断处理，需要从三个层面解释：首先是NVMe规范要求的MSI-X注册流程，重点是多队列场景下的中断绑定；然后是Linux内核的通用中断子系统如何与具体设备驱动交互；最后是NVMe驱动特有的实现细节，比如nvme_irq_handler()如何与blk-mq协作。 调试部分要强调动态追踪技术。perf能捕获中断延迟分布，ftrace可以画中断处理时间轴，而printk_ratelimit防刷屏的技巧对生产环境调试很重要。用户之前把rootfs搞坏了，说明在IO压力测试时触发问题，因此要特别提醒避免直接操作块设备文件。 注意到用户引用了ARM Cortex-A9平台，可能是在嵌入式场景使用NVMe设备。需要补充说明ARM GIC中断控制器与PCIe MSI-X的映射差异，比如GITS_TRANSLATER寄存器如何转发MSI消息。 最后生成的问题很有针对性：性能优化相关的问题暗示用户关心吞吐量，而调试方法的问题则直指用户可能遇到的实际问题。应该提醒用户查看Documentation/nvme/下的内核文档，里面有最新的debugfs接口说明。</think>在Linux NVMe驱动中，MSI-X中断处理函数的实现涉及以下关键环节： ### 1. **中断初始化** 在设备初始化阶段（`nvme_setup_io_queues`函数），驱动通过`pci_alloc_irq_vectors`申请MSI-X中断向量： ```c ret = pci_alloc_irq_vectors(pdev, 1, nvec, PCI_IRQ_MSIX | PCI_IRQ_AFFINITY); ``` 此操作会为每个I/O队列分配独立的中断向量，实现多队列并行处理[^1]。 ### 2. **中断处理函数注册** 每个队列的中断处理函数在`nvme_setup_io_queues`中绑定： ```c ret = request_irq(pci_irq_vector(pdev, qid), nvme_irq, // 核心中断处理函数 0, "nvme", &dev->queues[qid]); ``` ### 3. **核心中断处理 (`nvme_irq`)** 该函数位于`drivers/nvme/host/pci.c`： ```c static irqreturn_t nvme_irq(int irq, void *data) { struct nvme_queue *nvmeq = data; irqreturn_t ret = IRQ_NONE; spin_lock(&nvmeq->cq_lock); // 保护完成队列 if (nvme_process_cq(nvmeq)) { // 处理完成队列项 ret = IRQ_HANDLED; nvme_complete_cqes(nvmeq); // 完成请求 } spin_unlock(&nvmeq->cq_lock); return ret; } ``` ### 4. **中断亲和性优化** 通过`irq_set_affinity_hint`设置CPU亲和性，优化NUMA性能： ```c irq_set_affinity_hint(irq, &affd->pre_affinity); ``` ### 调试方法 #### (1) 查看中断分配 ```bash # 查看MSI-X中断向量分布 grep "nvme" /proc/interrupts ``` 输出示例： ```text 65: 0 0 0 0 IR-PCI-MSI 327680-edge nvme0q0 66: 1251 3020 880 1122 IR-PCI-MSI 327681-edge nvme0q1 ``` #### (2) 动态追踪 使用`ftrace`捕获中断延迟： ```bash echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_entry/enable echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_exit/enable cat /sys/kernel/debug/tracing/trace ``` #### (3) 诊断中断丢失 检查中断统计： ```bash dmesg | grep -i "nvme" # 关注类似警告 nvme nvme0: completion queue error (status=0x1) ``` ### 关键优化点 - **中断合并**：通过`nvme_modify_irq_coalescing`调整中断延迟阈值 - **轮询模式**：内核5.13+支持`io_uring`轮询模式减少中断开销 - **向量分配**：`pci_alloc_irq_vectors`的`PCI_IRQ_AFFINITY`参数优化NUMA性能 > 调试时建议启用动态调试： > `echo "module nvme +p" > /sys/kernel/debug/dynamic_debug/control` --- ### 相关问题 1. **如何验证NVMe驱动是否正确使用了MSI-X模式？** - 通过`lspci -vvv`检查设备Capabilities中的`MSI-X: Enable+`标志 - 对比`/proc/interrupts`中NVMe中断向量数量与队列数 2. **多NUMA节点下如何优化NVMe中断性能？** - 使用`numactl`绑定中断线程到本地NUMA节点 - 通过`irqbalance`配置优化中断分发策略 3. **中断处理函数出现延迟过高可能有哪些原因？** - 长时间持有自旋锁（如`cq_lock`） - 中断风暴导致CPU饱和 - 错误处理路径未及时退出中断上下文 4. **如何调试MSI-X中断丢失问题？** - 检查PCIe Advanced Error Reporting (AER)日志 - 使用`perf record -e irq:irq_handler_entry`分析中断频率 - 验证MSI-X表BAR区域是否映射正确[^2] [^1]: 设备初始化阶段会调用`pci_alloc_irq_vectors`分配MSI-X中断资源，每个I/O队列对应独立的中断向量。 [^2]: PCI配置空间中的MSI-X表BAR若映射异常，会导致中断无法正确触发。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值