MSI及interrupt remapping

最新推荐文章于 2025-03-10 09:15:09 发布
最新推荐文章于 2025-03-10 09:15:09 发布
阅读量3.3k 收藏 12
点赞数
CC 4.0 BY-SA版权
分类专栏： arch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wanjia19870902/article/details/46803885
本文介绍了PCI Express（PCIe）设备使用的Message Signaled Interrupts (MSI)技术，强调其原理、优势，并重点讲解了Interrupt Remapping的概念，特别是在VT-d技术中的作用。Interrupt Remapping用于增强兼容性和隔离中断，减少中断延迟，提高系统性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简单记录下看的MSI相关的资料，方便后续查阅


MSI的原理就是让pci/pcie设备通过写一个system-specific的消息到一个特定的地址区域（0xffe)， 来传递中断消息。

这里面需要借助两个寄存器message data register, message address register

就是把data register的东西写到address register， data的0-7表示vector

pci-e设备，只有通过msg的形式发送中断，但是为了兼容intx的方式，支持了intx模拟的消息类型，把它发到root-complex。

支持MSI/MSI-x的情况下，就直接发到local apic


vt-d技术中很关键的一个点interrupt remapping，就是在MSI上多加了一层查表。

在address register里面有一个bit表示这个request是否是remapping还是正常的，如果是remapping的话

那么有一个简单的计算公式，把address和data里面的值，计算成一个index。

通过index索引到interrupt remapping表中的某个IRET， 然后经过一系列的check，最后按照delivery mode, vector, destination id等字段来发送消息给local apic

另外多说一句，x2apic，也必须依赖interrupt remapping，主要是因为x2apic把apic id从8bit扩展到32bit，为了使的ioxapic, msi/msi-x等设备不需要改变，所以通过remapping来实现32bit的x2apic。x2apic比xapic的另一个好处在于local apic register使用msr映射，用readmsr, writemsr方式访问，xapic中local apic register使用内存映射，一般映射到0xfee的地址上。看到网上有人在讨论interrupt remapping的作用，主要有两点，第一点就是x2apic的兼容

最低0.47元/天 解锁文章

200万优质内容无限畅学
vt-d posted interrupt
yiyeguzhou100的专栏
06-10 1571
posted 模式整个过程是由硬件做的，设备中断如果是 msi， 那先到IOMMU， IOMMU 根据 msi 信息为索引，查找中断重映射表，然后根据 posted descriptor 基址修改 posted descriptor 中的中断位，当 IOMMU 修改 posted descreptor 后，会给相应 vCPU 所在的物理 CPU 发送一个中断。同时创建VM时， posted descriptor 基地址会呈现在VMCS中。
虚拟化技术 — 硬件辅助的虚拟化技术
烟云的计算
04-19 1204
如此的，GuestOS 就能够照常执行内核态的指令了。从 CPU 的角度看，为了解决虚拟机访问物理网卡等 I/O 设备的性能问题，就是要避免 VMM 对 CPU 指令的捕获/翻译、上下文切换、内存拷贝等损耗，于是 Intel VT-d 提供了 DMA Remapping Feature（DMA（直接存储器存取）的重映射功能），即：虚拟机可以通过 DMA Remapping Feature 直接访问到宿主机的物理网卡设备的内存空间，且进行安全访问，故称这段地址空间为：虚拟机对网卡访问的 DMA 保护域。
MSI 中断　实现
02-08
详解ＭＳＩ，ＭＳＩＸ中断原理和实现机制，值得参考。
IOMMU之Interrupt Remapping
zheng的博客
04-04 4262
1、原理介绍 在使用设备直通虚拟机的场景下，外设中断无法直接发送到Guest，使用iommu，可以改变虚拟机外设中断的投递方式。以msi中断为例，msi msg里不再需要填写相关的中断信息，而是转换成interrput index的方式。中断的管理信息（投递方式、目标cpu信息、vector信息）存放在一个叫irte的内存区域里，每个iommu最多可以有64k个irte，iommu通过inter...
深入了解iommu系列四：interrupt remapping 工作机制解析
qq_38350702的博客
11-11 348
接着遍历这个设备msi_list当中的所有的msi_desc，在调用__irq_domain_alloc_irqs 为其分配irq之前先调用pci_msi_domain_set_desc->pci_msi_domain_calc_hwirq 为每个msi_desc分配一个全局唯一的初始ID即hwirq(关于它的作用我们后面再说)，接着我们来看一下__irq_domain_alloc_irqs的核心逻辑。答案就是在request_irq的时候去分配的，同时会再次调用每个domain的activate函数。
深入了解iommu系列三：interrupt remapping 底层硬件工作原理和驱动初始化解析
qq_38350702的博客
11-11 556
interrupt remapping of iommu的引入主要是为了解决虚拟化场景直通设备的中断投递问题，由于iommu的最重要的功能是dma处理，因此在interrupt remapping enable的情况下，系统当中所有以message signal 的形式来触发的中断都是需要iommu来处理的。所以只要是iommu打开的场景下，相关设备的msi or msix中断一定是走中断remapping的(即使你的设备并不是直通给vm的)，无形中降低了中断的处理效率。为什么要remapping呢？
vfio interrupt & DMA remapping重映射
pcj2007的专栏
05-18 1116
设备直通需要vt-d支持。 １.DMA remapping DMA remapping需要iommu将GPA->HPA转换。 这里iommu行为非常类似mmu。 主要是PCIe设备，通过bus/dev/func信息来选择iommu映射表。所示每个vf可以有自己独立的映射关系。 那么当一个PCIe设备passthrough直通时，会怎么样？ 对于config space配置空间，VMM会接管，避免打架。 对于MMIO空间，可以直接由guest OS操作，通过mmu,iommu进行硬件直通，
static void x86_iommu_realize(DeviceState *dev, Error **errp) { X86IOMMUState *x86_iommu = X86_IOMMU_DEVICE(dev); X86IOMMUClass *x86_class = X86_IOMMU_DEVICE_GET_CLASS(dev); MachineState *ms = MACHINE(qdev_get_machine()); MachineClass *mc = MACHINE_GET_CLASS(ms); PCMachineState *pcms = PC_MACHINE(object_dynamic_cast(OBJECT(ms), TYPE_PC_MACHINE)); QLIST_INIT(&x86_iommu->iec_notifiers); bool irq_all_kernel = kvm_irqchip_in_kernel() && !kvm_irqchip_is_split(); if (!pcms || !pcms->bus) { error_setg(errp, "Machine-type '%s' not supported by IOMMU", mc->name); return; } /* If the user didn't specify IR, choose a default value for it */ if (x86_iommu->intr_supported == ON_OFF_AUTO_AUTO) { x86_iommu->intr_supported = irq_all_kernel ? ON_OFF_AUTO_OFF : ON_OFF_AUTO_ON; } /* Both Intel and AMD IOMMU IR only support "kernel-irqchip={off|split}" */ if (x86_iommu_ir_supported(x86_iommu) && irq_all_kernel) { error_setg(errp, "Interrupt Remapping cannot work with " "kernel-irqchip=on, please use 'split|off'."); return; } if (x86_class->realize) { x86_class->realize(dev, errp); } }
03-19
2. **"Interrupt Remapping cannot work..."**： ```bash # 错误配置：kernel-irqchip=on时启用IR -device intel-iommu,intremap=on # 修正方案： -machine kernel-irqchip=split \ -device intel-iommu,...
QEMU/KVM透传设备中断实现
leiyanjie8995的博客
09-18 680
VFIO的msix bar空间不是向用户态透传的，而是GUEST退出到KVM/QEMU里处理的。原因也比较容易理解，就是虚机里的MSIX中断需要QEMU和KVM的复杂处理，所以必须退出到主机。
MSI(Message Signaled Interrupt)
ARM-Linux
03-10 2346
MSI是什么？ MSI(Message Signaled Interrupts)是一种中断方式, 依靠设备将一小段中断描述数据写入特定地址 【注一】来通知CPU中断的产生。 MSI从PCI 2.2开始支持, 在PCI 3.0中得到扩展. 支持更多中断以及拥有独立配置各个中断能力的MSI-X则从PCI 3.0开始被支持. 注一：这里写入数据，并不是device可以直接向cpu发送数据作为中断的一部分。 而是写到MMIO（memory mapped IO)地址的数据是给chipset的，chi...
MSI中断
X-Weidong’s Blog
01-24 3780
注意：MSI以及MSI-X中断对于Windows来说支持Vista及更高的版本系统 PCI支持两种中断，传统INTx中断和MSI中断。 比较两种中断能让我们了解PCI规范发展的来龙去脉，也能使我们把握PCI发展的技术方向。 什么是MSI MSI 是 Message Signaled Interrupt (MSI) 的缩写，PCI设备写一个特定消息到特定地址，从而触发一个CPU中断. M
MSI(message signaled interrupt)
sinat_16790541的专栏
12-23 5018
MSI是什么？   MSI(Message Signaled Interrupts)是一种中断方式, 依靠设备将一小段中断描述数据写入特定地址【注一】来通知CPU中断的产生。   MSI从PCI 2.2开始支持, 在PCI 3.0中得到扩展. 支持更多中断以及拥有独立配置各个中断能力的MSI-X则从PCI 3.0开始被支持. MSI的优点：   1. 相对于基于引
MSI(Message Signaled Interrupt)/MSI-X
木马屠城
06-03 9385
MSI(Message Signaled Interrupt)是PCI2.2提出的新的中断处理形式，即，有中断产生时在系统特定内存地址写入中断数据已通知CPU一个中断。该种方式脱离了中断引脚（PIN）带来的数目限制，并且延迟小、效率高。MSI的扩展MSI-X在3.0里定义，相较MSI，MSI-X支持更多的消息数量（2048）以及独立的消息地址。MSI支持32个消息，一个MSI地址。 PC
vxworks issue: pcie msi interrupt
pwl999的博客
11-01 2264
文章目录1. 问题现象2. 分析过程Step 1. 分析传统的int_x中断流程Step 2. 排查MSI中断流程3. 结论 1. 问题现象 在调试 Am5728 + vxworks时，风河反馈两个pcie插槽，只有pcie1能使用msi中断pcie2不能使用使用msi中断，后来只能把两个插槽都换成传统的int_x中断。 为什么pcie2不能使用msi中断？ 2. 分析过程 AM5728对硬件中断处理部分可以参考"am5728_int_map_summary.pdf"。 Step 1. 分析传统的int_x
关于SMI、MSI、SCI、INTx各种中断小结
gx19862005的专栏
03-16 7534
转载： http://blog.youkuaiyun.com/huangkangying/article/details/11178425 MSI VS INTx(Pin-based interrupt)         MSI的全称是Message Signaled Interrupt.MSI出现在PCI 2.2和PCIe的规范中，是一种内部中断信号机制。传统的中断都有专门的中断pin，
6.1 MSI/MSI-X Capability结构
sailing_w的专栏
02-12 3461
PCIe设备可以使用MSI或者MSI-X报文向处理器提交中断请求，但是对于某个具体的PCIe设备，可能仅支持一种报文。在PCIe设备中含有两个Capability结构，一个是MSI Capability结构，另一个是MSI-X Capability结构。通常情况下一个PCIe设备仅包含一种结构，或者为MSI Capability结构，或者为MSI-X Capability结构。 6.1.1 MSI
PCIe 的 MSI 中断详解，寄存器级别的详细流程分析，完全搞懂硬件的工作流程
qq_29832469的博客
11-01 8306
EP 可以正确触发 MSI 中断，并被 RC 捕获后往 GIC 投递 PCIe 中断。本例的 MSI 中断并不是直接写 GIC 的 ITS ((Interrupt Translation Service)在GICv3中是可选的。ITS负责接收来自外设的中断，并将它们转化为LPI INTID发送到相应的Redistributor) 产生的，而是由 RC 中转了然后投递到 GIC 的。
iommu
hushup的专栏
01-23 2683
发个链接，这个是intel的iommu的spec  http://download.intel.com/technology/computing/vptech/Intel(r)_VT_for_Direct_IO.pdf  心情愉快，大概讲一下IOMMU是个啥东西。:mrgreen: 注意我说的IOMMU是指位于北桥上的IOMMU,那种设备自带IOMMU的情况我还不了解。  在没有IOMM
pcie的 MSI中断处理机制与优化策略
MHD0815的博客
03-10 80
PCIe设备的。
Linux nvme dirver msi-x interrupt 函数
最新发布
07-25
<think>嗯，用户这次的问题非常专业，是关于Linux NVME驱动中MSI-X中断处理函数的实现细节。从问题深度来看，用户应该是内核开发者或驱动工程师，正在调试NVMe设备的中断问题。 用户引用的两段材料很有意思。第一段提到/dev下出现nvme设备节点，说明用户已经成功加载驱动；第二段提到用fio测试磁盘IO时搞坏了rootfs，这提示用户可能在压力测试时遇到中断处理异常导致系统崩溃。结合这两个线索，用户真实需求可能是：在高压环境下调试NVME中断丢失的问题。 关于MSI-X中断处理，需要从三个层面解释：首先是NVMe规范要求的MSI-X注册流程，重点是多队列场景下的中断绑定；然后是Linux内核的通用中断子系统如何与具体设备驱动交互；最后是NVMe驱动特有的实现细节，比如nvme_irq_handler()如何与blk-mq协作。 调试部分要强调动态追踪技术。perf能捕获中断延迟分布，ftrace可以画中断处理时间轴，而printk_ratelimit防刷屏的技巧对生产环境调试很重要。用户之前把rootfs搞坏了，说明在IO压力测试时触发问题，因此要特别提醒避免直接操作块设备文件。 注意到用户引用了ARM Cortex-A9平台，可能是在嵌入式场景使用NVMe设备。需要补充说明ARM GIC中断控制器与PCIe MSI-X的映射差异，比如GITS_TRANSLATER寄存器如何转发MSI消息。 最后生成的问题很有针对性：性能优化相关的问题暗示用户关心吞吐量，而调试方法的问题则直指用户可能遇到的实际问题。应该提醒用户查看Documentation/nvme/下的内核文档，里面有最新的debugfs接口说明。</think>在Linux NVMe驱动中，MSI-X中断处理函数的实现涉及以下关键环节： ### 1. **中断初始化** 在设备初始化阶段（`nvme_setup_io_queues`函数），驱动通过`pci_alloc_irq_vectors`申请MSI-X中断向量： ```c ret = pci_alloc_irq_vectors(pdev, 1, nvec, PCI_IRQ_MSIX | PCI_IRQ_AFFINITY); ``` 此操作会为每个I/O队列分配独立的中断向量，实现多队列并行处理[^1]。 ### 2. **中断处理函数注册** 每个队列的中断处理函数在`nvme_setup_io_queues`中绑定： ```c ret = request_irq(pci_irq_vector(pdev, qid), nvme_irq, // 核心中断处理函数 0, "nvme", &dev->queues[qid]); ``` ### 3. **核心中断处理 (`nvme_irq`)** 该函数位于`drivers/nvme/host/pci.c`： ```c static irqreturn_t nvme_irq(int irq, void *data) { struct nvme_queue *nvmeq = data; irqreturn_t ret = IRQ_NONE; spin_lock(&nvmeq->cq_lock); // 保护完成队列 if (nvme_process_cq(nvmeq)) { // 处理完成队列项 ret = IRQ_HANDLED; nvme_complete_cqes(nvmeq); // 完成请求 } spin_unlock(&nvmeq->cq_lock); return ret; } ``` ### 4. **中断亲和性优化** 通过`irq_set_affinity_hint`设置CPU亲和性，优化NUMA性能： ```c irq_set_affinity_hint(irq, &affd->pre_affinity); ``` ### 调试方法 #### (1) 查看中断分配 ```bash # 查看MSI-X中断向量分布 grep "nvme" /proc/interrupts ``` 输出示例： ```text 65: 0 0 0 0 IR-PCI-MSI 327680-edge nvme0q0 66: 1251 3020 880 1122 IR-PCI-MSI 327681-edge nvme0q1 ``` #### (2) 动态追踪 使用`ftrace`捕获中断延迟： ```bash echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_entry/enable echo 1 > /sys/kernel/debug/tracing/events/irq/irq_handler_exit/enable cat /sys/kernel/debug/tracing/trace ``` #### (3) 诊断中断丢失 检查中断统计： ```bash dmesg | grep -i "nvme" # 关注类似警告 nvme nvme0: completion queue error (status=0x1) ``` ### 关键优化点 - **中断合并**：通过`nvme_modify_irq_coalescing`调整中断延迟阈值 - **轮询模式**：内核5.13+支持`io_uring`轮询模式减少中断开销 - **向量分配**：`pci_alloc_irq_vectors`的`PCI_IRQ_AFFINITY`参数优化NUMA性能 > 调试时建议启用动态调试： > `echo "module nvme +p" > /sys/kernel/debug/dynamic_debug/control` --- ### 相关问题 1. **如何验证NVMe驱动是否正确使用了MSI-X模式？** - 通过`lspci -vvv`检查设备Capabilities中的`MSI-X: Enable+`标志 - 对比`/proc/interrupts`中NVMe中断向量数量与队列数 2. **多NUMA节点下如何优化NVMe中断性能？** - 使用`numactl`绑定中断线程到本地NUMA节点 - 通过`irqbalance`配置优化中断分发策略 3. **中断处理函数出现延迟过高可能有哪些原因？** - 长时间持有自旋锁（如`cq_lock`） - 中断风暴导致CPU饱和 - 错误处理路径未及时退出中断上下文 4. **如何调试MSI-X中断丢失问题？** - 检查PCIe Advanced Error Reporting (AER)日志 - 使用`perf record -e irq:irq_handler_entry`分析中断频率 - 验证MSI-X表BAR区域是否映射正确[^2] [^1]: 设备初始化阶段会调用`pci_alloc_irq_vectors`分配MSI-X中断资源，每个I/O队列对应独立的中断向量。 [^2]: PCI配置空间中的MSI-X表BAR若映射异常，会导致中断无法正确触发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值