NVMe 驱动中断绑定解决CPU lock

最新推荐文章于 2025-03-03 10:03:18 发布

原创

最新推荐文章于 2025-03-03 10:03:18 发布 · 2.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#nvme

本文探讨了NVMe驱动中断绑定导致的CPU lock问题，特别是在CentOS 6.6及7.1版本中不同的绑定策略。在旧版本中，NVMe设备默认绑定在NUMA节点的第一个core上，可能导致性能问题。而在更新版本中，设备会绑定到所有core，但仍需关注中断平衡。解决方案包括关闭irqbalance服务并手动调整中断绑定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NVMe驱动中断绑定

1. 要想理清绑定先把irqbalance关闭

2. Kernel 和NVMe 驱动都可以和中断绑定相关

a. CentOS 6.6 之前的版本，NVMe 设备默认是绑定在最近的NUMA node的的第一个core,. 如果有多个强悍的PCIe SSD 在一个core上就有问题啦(CPU lock)，哈哈！

[root@memblaze-lyk2 wa-script]# cat /etc/issue
CentOS release 6.6 (Final)

[root@memblaze-lyk2 wa-script]# fio --rw=write --iodepth=64 --numjobs=12 --loop=1 --bs=4k --ioengine=libaio --output=precond-1.log --name=preCondJob --filename=/dev/nvme0n1 --direct=1

[root@memblaze-lyk2 wa-script]# cat /proc/interrupts | grep nvme
109: 524206 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q0, nvme0q1
110: 301 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q2
111: 297792 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q3
112: 111 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q4
113: 189682 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR