MSI及interrupt remapping

最新推荐文章于 2025-03-10 09:15:09 发布
原创 最新推荐文章于 2025-03-10 09:15:09 发布 · 3.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了PCI Express（PCIe）设备使用的Message Signaled Interrupts (MSI)技术，强调其原理、优势，并重点讲解了Interrupt Remapping的概念，特别是在VT-d技术中的作用。Interrupt Remapping用于增强兼容性和隔离中断，减少中断延迟，提高系统性能。

简单记录下看的MSI相关的资料，方便后续查阅


MSI的原理就是让pci/pcie设备通过写一个system-specific的消息到一个特定的地址区域（0xffe)， 来传递中断消息。

这里面需要借助两个寄存器message data register, message address register

就是把data register的东西写到address register， data的0-7表示vector

pci-e设备，只有通过msg的形式发送中断，但是为了兼容intx的方式，支持了intx模拟的消息类型，把它发到root-complex。

支持MSI/MSI-x的情况下，就直接发到local apic


vt-d技术中很关键的一个点interrupt remapping，就是在MSI上多加了一层查表。

在address register里面有一个bit表示这个request是否是remapping还是正常的，如果是remapping的话

那么有一个简单的计算公式，把address和data里面的值，计算成一个index。

通过index索引到interrupt remapping表中的某个IRET， 然后经过一系列的check，最后按照delivery mode, vector, destination id等字段来发送消息给local apic

另外多说一句，x2apic，也必须依赖interrupt remapping，主要是因为x2apic把apic id从8bit扩展到32bit，为了使的ioxapic, msi/msi-x等设备不需要改变，所以通过remapping来实现32bit的x2apic。x2apic比xapic的另一个好处在于local apic register使用msr映射，用readmsr, writemsr方式访问，xapic中local apic register使用内存映射，一般映射到0xfee的地址上。看到网上有人在讨论interrupt remapping的作用，主要有两点，第一点就是x2apic的兼容

最低0.47元/天 解锁文章

200万优质内容无限畅学
vt-d posted interrupt
yiyeguzhou100的专栏
06-10 1599
posted 模式整个过程是由硬件做的，设备中断如果是 msi， 那先到IOMMU， IOMMU 根据 msi 信息为索引，查找中断重映射表，然后根据 posted descriptor 基址修改 posted descriptor 中的中断位，当 IOMMU 修改 posted descreptor 后，会给相应 vCPU 所在的物理 CPU 发送一个中断。同时创建VM时， posted descriptor 基地址会呈现在VMCS中。
MSI 中断　实现
02-08
详解ＭＳＩ，ＭＳＩＸ中断原理和实现机制，值得参考。
IOMMU之Interrupt Remapping
zheng的博客
04-04 4315
1、原理介绍 在使用设备直通虚拟机的场景下，外设中断无法直接发送到Guest，使用iommu，可以改变虚拟机外设中断的投递方式。以msi中断为例，msi msg里不再需要填写相关的中断信息，而是转换成interrput index的方式。中断的管理信息（投递方式、目标cpu信息、vector信息）存放在一个叫irte的内存区域里，每个iommu最多可以有64k个irte，iommu通过inter...
深入了解iommu系列四：interrupt remapping 工作机制解析
qq_38350702的博客
11-11 394
接着遍历这个设备msi_list当中的所有的msi_desc，在调用__irq_domain_alloc_irqs 为其分配irq之前先调用pci_msi_domain_set_desc->pci_msi_domain_calc_hwirq 为每个msi_desc分配一个全局唯一的初始ID即hwirq(关于它的作用我们后面再说)，接着我们来看一下__irq_domain_alloc_irqs的核心逻辑。答案就是在request_irq的时候去分配的，同时会再次调用每个domain的activate函数。
深入了解iommu系列三：interrupt remapping 底层硬件工作原理和驱动初始化解析
qq_38350702的博客
11-11 625
interrupt remapping of iommu的引入主要是为了解决虚拟化场景直通设备的中断投递问题，由于iommu的最重要的功能是dma处理，因此在interrupt remapping enable的情况下，系统当中所有以message signal 的形式来触发的中断都是需要iommu来处理的。所以只要是iommu打开的场景下，相关设备的msi or msix中断一定是走中断remapping的(即使你的设备并不是直通给vm的)，无形中降低了中断的处理效率。为什么要remapping呢？
vfio interrupt & DMA remapping重映射
pcj2007的专栏
05-18 1143
设备直通需要vt-d支持。 １.DMA remapping DMA remapping需要iommu将GPA->HPA转换。 这里iommu行为非常类似mmu。 主要是PCIe设备，通过bus/dev/func信息来选择iommu映射表。所示每个vf可以有自己独立的映射关系。 那么当一个PCIe设备passthrough直通时，会怎么样？ 对于config space配置空间，VMM会接管，避免打架。 对于MMIO空间，可以直接由guest OS操作，通过mmu,iommu进行硬件直通，
struct msi_domain_info用法及作用详解
最新发布
09-11
| `MSI_FLAG_IRQ_REMAPPING` | `BIT(3)` | 启用中断重映射（IOMMU） | ##### **2. `ops`：MSI 硬件操作回调** ```c struct msi_domain_ops { int (*msi_prepare)(struct irq_domain *, struct device *, int nvec,...
static void x86_iommu_realize(DeviceState *dev, Error **errp) { X86IOMMUState *x86_iommu = X86_IOMMU_DEVICE(dev); X86IOMMUClass *x86_class = X86_IOMMU_DEVICE_GET_CLASS(dev); MachineState *ms = MACHINE(qdev_get_machine()); MachineClass *mc = MACHINE_GET_CLASS(ms); PCMachineState *pcms = PC_MACHINE(object_dynamic_cast(OBJECT(ms), TYPE_PC_MACHINE)); QLIST_INIT(&x86_iommu->iec_notifiers); bool irq_all_kernel = kvm_irqchip_in_kernel() && !kvm_irqchip_is_split(); if (!pcms || !pcms->bus) { error_setg(errp, "Machine-type '%s' not supported by IOMMU", mc->name); return; } /* If the user didn't specify IR, choose a default value for it */ if (x86_iommu->intr_supported == ON_OFF_AUTO_AUTO) { x86_iommu->intr_supported = irq_all_kernel ? ON_OFF_AUTO_OFF : ON_OFF_AUTO_ON; } /* Both Intel and AMD IOMMU IR only support "kernel-irqchip={off|split}" */ if (x86_iommu_ir_supported(x86_iommu) && irq_all_kernel) { error_setg(errp, "Interrupt Remapping cannot work with " "kernel-irqchip=on, please use 'split|off'."); return; } if (x86_class->realize) { x86_class->realize(dev, errp); } }
03-19
2. **"Interrupt Remapping cannot work..."**： ```bash # 错误配置：kernel-irqchip=on时启用IR -device intel-iommu,intremap=on # 修正方案： -machine kernel-irqchip=split \ -device intel-iommu,...
在pcie级联中断中，为什么intx中断值需要使用irq_domain_add_linear接口创建中断域即可，而msi中断需要先使用irq_domain_add_linear接口创建一个中断域irq_domain，之后再调用pci_msi_create_irq_domain接口以irq_domain为父中断域创建msi中断域？
09-06
- MSI（Message Signaled Interrupt）是一种通过内存写入（向特定地址写入特定数据）触发的中断机制，没有物理连线。MSI-X是它的扩展。 - MSI中断需要两个层次的映射： a. **设备层映射**：将PCI设备内的“中断...
MSI(Message Signaled Interrupt)
ARM-Linux
03-10 2398
MSI是什么？ MSI(Message Signaled Interrupts)是一种中断方式, 依靠设备将一小段中断描述数据写入特定地址 【注一】来通知CPU中断的产生。 MSI从PCI 2.2开始支持, 在PCI 3.0中得到扩展. 支持更多中断以及拥有独立配置各个中断能力的MSI-X则从PCI 3.0开始被支持. 注一：这里写入数据，并不是device可以直接向cpu发送数据作为中断的一部分。 而是写到MMIO（memory mapped IO)地址的数据是给chipset的，chi...
MSI中断
X-Weidong’s Blog
01-24 3791
注意：MSI以及MSI-X中断对于Windows来说支持Vista及更高的版本系统 PCI支持两种中断，传统INTx中断和MSI中断。 比较两种中断能让我们了解PCI规范发展的来龙去脉，也能使我们把握PCI发展的技术方向。 什么是MSI MSI 是 Message Signaled Interrupt (MSI) 的缩写，PCI设备写一个特定消息到特定地址，从而触发一个CPU中断. M
MSI(message signaled interrupt)
sinat_16790541的专栏
12-23 5029
MSI是什么？   MSI(Message Signaled Interrupts)是一种中断方式, 依靠设备将一小段中断描述数据写入特定地址【注一】来通知CPU中断的产生。   MSI从PCI 2.2开始支持, 在PCI 3.0中得到扩展. 支持更多中断以及拥有独立配置各个中断能力的MSI-X则从PCI 3.0开始被支持. MSI的优点：   1. 相对于基于引
MSI(Message Signaled Interrupt)/MSI-X
木马屠城
06-03 9389
MSI(Message Signaled Interrupt)是PCI2.2提出的新的中断处理形式，即，有中断产生时在系统特定内存地址写入中断数据已通知CPU一个中断。该种方式脱离了中断引脚（PIN）带来的数目限制，并且延迟小、效率高。MSI的扩展MSI-X在3.0里定义，相较MSI，MSI-X支持更多的消息数量（2048）以及独立的消息地址。MSI支持32个消息，一个MSI地址。 PC
vxworks issue: pcie msi interrupt
pwl999的博客
11-01 2291
文章目录1. 问题现象2. 分析过程Step 1. 分析传统的int_x中断流程Step 2. 排查MSI中断流程3. 结论 1. 问题现象 在调试 Am5728 + vxworks时，风河反馈两个pcie插槽，只有pcie1能使用msi中断pcie2不能使用使用msi中断，后来只能把两个插槽都换成传统的int_x中断。 为什么pcie2不能使用msi中断？ 2. 分析过程 AM5728对硬件中断处理部分可以参考"am5728_int_map_summary.pdf"。 Step 1. 分析传统的int_x
关于SMI、MSI、SCI、INTx各种中断小结
gx19862005的专栏
03-16 7577
转载： http://blog.youkuaiyun.com/huangkangying/article/details/11178425 MSI VS INTx(Pin-based interrupt)         MSI的全称是Message Signaled Interrupt.MSI出现在PCI 2.2和PCIe的规范中，是一种内部中断信号机制。传统的中断都有专门的中断pin，
6.1 MSI/MSI-X Capability结构
sailing_w的专栏
02-12 3482
PCIe设备可以使用MSI或者MSI-X报文向处理器提交中断请求，但是对于某个具体的PCIe设备，可能仅支持一种报文。在PCIe设备中含有两个Capability结构，一个是MSI Capability结构，另一个是MSI-X Capability结构。通常情况下一个PCIe设备仅包含一种结构，或者为MSI Capability结构，或者为MSI-X Capability结构。 6.1.1 MSI
PCIe 的 MSI 中断详解，寄存器级别的详细流程分析，完全搞懂硬件的工作流程
qq_29832469的博客
11-01 8547
EP 可以正确触发 MSI 中断，并被 RC 捕获后往 GIC 投递 PCIe 中断。本例的 MSI 中断并不是直接写 GIC 的 ITS ((Interrupt Translation Service)在GICv3中是可选的。ITS负责接收来自外设的中断，并将它们转化为LPI INTID发送到相应的Redistributor) 产生的，而是由 RC 中转了然后投递到 GIC 的。
iommu
hushup的专栏
01-23 2689
发个链接，这个是intel的iommu的spec  http://download.intel.com/technology/computing/vptech/Intel(r)_VT_for_Direct_IO.pdf  心情愉快，大概讲一下IOMMU是个啥东西。:mrgreen: 注意我说的IOMMU是指位于北桥上的IOMMU,那种设备自带IOMMU的情况我还不了解。  在没有IOMM
pcie的 MSI中断处理机制与优化策略
MHD0815的博客
03-10 91
PCIe设备的。
Linux nvme dirver msi-x interrupt 函数
07-25
<think>嗯，用户这次的问题非常专业，是关于Linux NVME驱动中MSI-X中断处理函数的实现细节。从问题深度来看，用户应该是内核开发者或驱动工程师，正在调试NVMe设备的中断问题。 用户引用的两段材料很有意思。第一段提到/dev下出现nvme设备节点，说明用户已经成功加载驱动；第二段提到用fio测试磁盘IO时搞坏了rootfs，这提示用户可能在压力测试时遇到中断处理异常导致系统崩溃。结合这两个线索，用户真实需求可能是：在高压环境下调试NVME中断丢失的问题。 关于MSI-X中断处理，需要从三个层面解释：首先是NVMe规范要求的MSI-X注册流程，重点是多队列场景下的中断绑定；然后是Linux内核的通用中断子系统如何与具体设备驱动交互；最后是NVMe驱动特有的实现细节，比如nvme_irq_handler()如何与blk-mq协作。 调试部分要强调动态追踪技术。perf能捕获中断延迟分布，ftrace可以画中断处理时间轴，而printk_ratelimit防刷屏的技巧对生产环境调试很重要。用户之前把rootfs搞坏了，说明在IO压力测试时触发问题，因此要特别提醒避免直接操作块设备文件。 注意到用户引用了ARM Cortex-A9平台，可能是在嵌入式场景使用NVMe设备。需要补充说明ARM GIC中断控制器与PCIe MSI-X的映射差异，比如GITS_TRANSLATER寄存器如何转发MSI消息。 最后生成的问题很有针对性：性能优化相关的问题暗示用户关心吞吐量，而调试方法的问题则直指用户可能遇到的实际问题。应该提醒用户查看Documentation/nvme/下的内核文档，里面有最新的debugfs接口说明。</think>在Linux NVMe驱动中，MSI-X中断处理函数的实现涉及以下关键环节： ### 1. **中断初始化** 在设备初始化阶段（`nvme_setup_io_queues`函数），驱动通过`pci_alloc_irq_vectors`申请MSI-X中断向量： ```c ret = pci_alloc_irq_vectors(pdev, 1, nvec, PCI_IRQ_MSIX | PCI_IRQ_AFFINITY); ``` 此操作会为每个I/O队列分配独立的中断向量，实现多队列并行处理[^1]。 ### 2. **中断处理函数注册** 每个队列的中断处理函数在`nvme_setup_io_queues`中绑定： ```c ret = request_irq(pci_irq_vector(pdev, qid), nvme_irq, // 核心中断处理函数 0, "nvme", &dev->queues[qid]); ``` ### 3. **核心中断处理 (`nvme_irq`)** 该函数位于`drivers/nvme/host/pci.c`： ```c static irqreturn_t nvme_irq(int irq, void *data) { struct nvme_queue *nvmeq = data; irqreturn_t ret = IRQ_NONE; spin_lock(&nvmeq->cq_lock); // 保护完成队列 if (nvme_process_cq(nvmeq)) { // 处理完成队列项 ret = IRQ_HANDLED; nvme_complete_cqes(nvmeq); // 完成请求 } spin_unlock(&nvmeq->cq_lock); return ret; } ``` ### 4. **中断亲和性优化** 通过`irq_set_affinity_hint`设置CPU亲和性，优化NUMA性能： ```c irq_set_affinity_hint(irq, &affd->pre_affinity); ``` ### 调试方法 #### (1) 查看中断分配 ```bash # 查看MSI-X中断向量分布 grep "nvme" /proc/interrupts ``` 输出示例： ```text 65: 0 0 0 0 IR-PCI-MSI 327680-edge nvme0q0 66: 1251 3020 880 1122 IR-PCI-MSI 327681-edge nvme0q1 ``` #### (2) 动态追踪 使用`ftrace`捕获中断延迟： ```bash echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_entry/enable echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_exit/enable cat /sys/kernel/debug/tracing/trace ``` #### (3) 诊断中断丢失 检查中断统计： ```bash dmesg | grep -i "nvme" # 关注类似警告 nvme nvme0: completion queue error (status=0x1) ``` ### 关键优化点 - **中断合并**：通过`nvme_modify_irq_coalescing`调整中断延迟阈值 - **轮询模式**：内核5.13+支持`io_uring`轮询模式减少中断开销 - **向量分配**：`pci_alloc_irq_vectors`的`PCI_IRQ_AFFINITY`参数优化NUMA性能 > 调试时建议启用动态调试： > `echo "module nvme +p" > /sys/kernel/debug/dynamic_debug/control` --- ### 相关问题 1. **如何验证NVMe驱动是否正确使用了MSI-X模式？** - 通过`lspci -vvv`检查设备Capabilities中的`MSI-X: Enable+`标志 - 对比`/proc/interrupts`中NVMe中断向量数量与队列数 2. **多NUMA节点下如何优化NVMe中断性能？** - 使用`numactl`绑定中断线程到本地NUMA节点 - 通过`irqbalance`配置优化中断分发策略 3. **中断处理函数出现延迟过高可能有哪些原因？** - 长时间持有自旋锁（如`cq_lock`） - 中断风暴导致CPU饱和 - 错误处理路径未及时退出中断上下文 4. **如何调试MSI-X中断丢失问题？** - 检查PCIe Advanced Error Reporting (AER)日志 - 使用`perf record -e irq:irq_handler_entry`分析中断频率 - 验证MSI-X表BAR区域是否映射正确[^2] [^1]: 设备初始化阶段会调用`pci_alloc_irq_vectors`分配MSI-X中断资源，每个I/O队列对应独立的中断向量。 [^2]: PCI配置空间中的MSI-X表BAR若映射异常，会导致中断无法正确触发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值