NVMe驱动中断绑定

最新推荐文章于 2024-05-20 15:01:58 发布

原创

最新推荐文章于 2024-05-20 15:01:58 发布 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

本文讨论了NVMe驱动中断绑定的问题，指出在CentOS 6.6及之前的版本中，NVMe设备默认绑定在NUMA节点的第一个core，可能导致CPU锁。而在CentOS 7.1中，NVMe设备会绑定到所有NUMA节点的core上。通过查看中断分布，可以分析和优化NVMe设备的性能。

NVMe驱动中断绑定

1. 要想理清绑定先把irqbalance关闭

2. Kernel 和NVMe 驱动都可以和中断绑定相关

a. CentOS 6.6 之前的版本，NVMe 设备默认是绑定在最近的NUMA node的的第一个core,. 如果有多个强悍的PCIe SSD 在一个core上就有问题啦(CPU lock)，哈哈！

[root@memblaze-lyk2 wa-script]# cat /etc/issue
CentOS release 6.6 (Final)

[root@memblaze-lyk2 wa-script]# fio --rw=write --iodepth=64 --numjobs=12 --loop=1 --bs=4k --ioengine=libaio --output=precond-1.log --name=preCondJob --filename=/dev/nvme0n1 --direct=1

[root@memblaze-lyk2 wa-script]# cat /proc/interrupts | grep nvme
109: 524206 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q0, nvme0q1
110: 301 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q2
111: 297792 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q3
112: 111 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI-edge nvme0q4
113: 18968