【KVM系列04】KVM的I/O 设备直接分配和SR-IOV

 

---

                                                                         第四章 I/O 设备直接分配和 SR-IOV 

---

1. PCI/PCI-E 设备直接分配给虚机 （PCI Pass-through）

1.1 PCI/PCIe Pass-through 原理

1.2 在 RedHat Linux 6 上使用 virt-manger 分配一个光纤卡给虚机

1.3 在 RedHat Linux 6 上使用 qemu-kvm 分配一个光纤卡给虚机

1.4 设备直接分配让客户机的优势和不足

2. SR-IOV 设备分配

2.1 原理

2.2 SR-IOV 的条件

2.3 分配 SR-IOV 设备的步骤

2.4 优势和不足

3. 各种设备虚拟化方式的比较

3.1 架构上的比较（以网卡为例）

3.2 性能上的比较 （以网卡为例）

3.3  Virtio 和 Pass-Through 的详细比较

 4. 综合结论

---

【KVM系列文章】https://blog.youkuaiyun.com/baidu_37107022/article/details/88812463

 

本文将分析 PCI/PCIe 设备直接分配（Pass-through）和 SR-IOV， 以及三种 I/O 虚拟化方式的比较。

1. PCI/PCI-E 设备直接分配给虚机 （PCI Pass-through）

设备直接分配 （Device assignment）也称为 Device Pass-Through。

先简单看看PCI 和 PCI-E 的区别（AMD CPU）：

（简单点看，PCI 卡的性能没有 PCI-E 高，因为 PCI-E 是直接连在 IOMMU 上，而 PCI 卡是连在一个 IO Hub 上。）

主要的 PCI 设备类型：

• Network cards (wired or wireless)
• SCSI adapters
• Bus controllers: USB, PCMCIA, I2C, FireWire, IDE
• Graphics and video cards
• Sound cards

1.1 PCI/PCIe Pass-through 原理

这种方式，允许将宿主机中的物理 PCI 设备直接分配给客户机使用。较新的x86平台已经支持这种类型，Intel 定义的 I/O 虚拟化技术成为 VT-d，AMD 的称为 AMD-V。KVM 支持客户机以独占方式访问这个宿主机的 PCI/PCI-E 设备。通过硬件支持的 VT-d 技术将设备分给客户机后，在客户机看来，设备是物理上连接在PCI或者PCI-E总线上的，客户机对该设备的I/O交互操作和实际的物理设备操作完全一样，不需要或者很少需要 KVM 的参与。运行在 VT-d 平台上的 QEMU/KVM，可以分配网卡、磁盘控制器、USB控制器、VGA 显卡等设备供客户机直接使用。

几乎所有的 PCI 和 PCI-E 设备都支持直接分配，除了显卡以外（显卡的特殊性在这里）。PCI Pass-through 需要硬件平台 Intel VT-d 或者 AMD IOMMU 的支持。这些特性必须在 BIOS 中被启用。Red Hat Enterprise Linux 6.0 及以上版本支持热插拔的 PCI 设备直接分配到虚拟机。

网卡直接分配：

硬盘直接分配：

• 一般 SATA 或者 SAS 等类型的硬盘的控制器都是直接接入到 PCI 或者  PCI-E 总线的，所以也可以将硬盘作为普通的PCI设备直接分配个客户机。需要注意的是，当分配硬盘时，实际上将其控制器作为一个整体分配到客户机中，因此需要在硬件平台上至少有另两个或者多个SATA或者 SAS控制器。 

1.2 在 RedHat Linux 6 上使用 virt-manger 分配一个光纤卡给虚机

准备工作：

（1）在 BIOS 中打开 Intel VT-d 

（2）在 Linux 内核中启用 PCI Pass-through

添加 intel_iommu=on 到 /boot/grub/grub.conf 文件中。（在我的 RedHat Linux 6上，该文件是 /boot/grub.conf）

（3）重启系统，使得配置生效

实际分配：

（1）使用 lspci -nn 命令找到待分配的 PCI 设备。这里以一个 FC 卡为例：

使用 lspci 命令得到的 PCI 数字的含义，以后使用 libvirt API 分配设备时会用到：

（2）使用 virsh nodedev-list 命令找到该设备的 PCI 编号

（3）将设备从主机上解除