dpdk 与 vt-d iommu

dpdk with intel vt-d

DPDK 结合 VT-d（Intel Virtualization Technology for Directed I/O）是实现高性能用户态 I/O 的关键技术路径。DPDK 依赖 VT-d 提供 DMA 地址映射隔离、安全性和设备直通能力（VFIO），以便在用户态直接、安全地访问物理网卡设备。

VT-d 简介

VT-d（Intel IOMMU） 主要提供以下三大能力：

功能	说明
DMA Remapping	将设备发起的 DMA 请求重映射到合法物理地址（隔离+保护）
Interrupt Remapping	支持 MSI/MSI-X 中断重映射，避免中断注入错误
Address Translation & Protection	按照设备分配的二级页表（IOMMU Page Table）翻译 DMA 地址

DPDK 为何依赖 VT-d

目的	描述
用户态 DMA 安全	用户态应用不能直接访问 DMA，需要 IOMMU 做地址隔离
VFIO 支持	VFIO 使用 VT-d 提供 DMA remap，保障安全直通
HugePages + DMA 映射	HugePage 需要注册为 IOVA 映射，必须经由 IOMMU

DPDK + VT-d 的典型路径：VFIO 模式

DPDK 强烈推荐使用 VFIO，而 VFIO 背后的核心依赖就是 VT-d 的功能支持。

数据路径：

+------------------------------+
|       用户态应用 (DPDK)     |
|  调用 VFIO 分配 DMA 区域     |
+-------------↑----------------+
| VFIO 驱动（vfio-pci, vfio_iommu_type1） |
|   管理 IOVA 映射关系 (map DMA buf)    |
+-------------↑----------------+
|      VT-d / IOMMU (Intel)    |
|   建立 DMA 页表 (IOVA->PA)   |
+-------------↑----------------+
|     真实物理设备（NIC）      |
+------------------------------+

DPDK 使用 VFIO/VTD 的典型流程

1. 系统开启 VT-d 支持：

• BIOS 开启 VT-d
• 添加内核参数： intel_iommu=on iommu=pt

2. 挂载 hugepage 内存：

mkdir /mnt/huge
mount -t hugetlbfs nodev /mnt/huge

3. 绑定网卡到 VFIO：

modprobe vfio-pci
dpdk-devbind.py --bind=vfio-pci 0000:03:00.0

4. DPDK 分配 DMA buffer：

应用程序通过 rte_malloc/rte_pktmbuf_pool_create() 分配 hugepage buffer。
这些 buffer 会自动通过 VFIO 注册为 IOVA（Intermediate Address）。

5. VFIO 通知 IOMMU 做 IOVA -> PA 映射：

• 用户态无法操作页表，VFIO 内核模块通过 iommu_map() 完成。

6. 网卡进行 DMA 访问：

• DMA 使用 IOVA 地址，IOMMU 硬件将其重定向到物理地址。
• 数据写入 DPDK 分配的 HugePage。

IOMMU 模式对比

模式	描述	安全性	性能
iommu=pt	PassThrough 模式，只启用地址检查，无 remapping	中	高
iommu=on	启用完全映射保护	高	略低（可接受）

DPDK 推荐在生产中使用 iommu=on + VFIO，以保证 DMA 隔离和多租户安全。

VFIO 内部机制与 VT-d 配合关键点

1. vfio_iommu_type1.c

• 管理用户态提供的虚拟地址与 IOVA 的映射关系。
• 通过 ioctl VFIO_IOMMU_MAP_DMA 显式注册物理内存页。
• 映射写入 /sys/kernel/iommu_groups/ 对应设备组。

2. IOMMU 页表结构

类似 CPU 页表的二级结构，用于将 IOVA 映射到物理地址。

[IOVA] -> [IOMMU Page Table] -> [PA]

3. 内核 DMA API（iommu_map）

最终调用 IOMMU 驱动，如：

• intel-iommu.c (针对 VT-d)
• arm-smmu.c (ARM SMMU)

与 UIO 模式对比

对比项	VFIO (基于 VT-d)	UIO/igb_uio
安全性	高，DMA 隔离	无隔离，容易 DMA 越权
IOMMU 支持	支持 VT-d 映射	不支持
支持热插拔	支持	不支持
推荐场景	生产环境	测试/开发用

调试 VT-d/IOMMU 的工具和技巧

# 查看 IOMMU 分组
find /sys/kernel/iommu_groups/ -type l

# 查看是否支持 IOMMU
dmesg | grep -i iommu

# 查看 VFIO 是否注册了 DMA 区域
sudo cat /proc/iomem | grep -i vfio

# dump DPDK 应用分配的 IOVA 区域
cat /proc/iommu | less

总结：DPDK 与 VT-d 的结合价值

能力	作用
DMA 安全隔离	多租户环境下，防止设备 DMA 恶意访问
用户态直通	通过 VFIO 将设备直接映射给用户态
高性能 DMA	HugePage 配合 DMA 提升吞吐量
零拷贝 + 多核并发	DPDK 拓展 VT-d 安全优势，同时保证性能极致