SR-IOV

SSR-IOV是Single Root I/O Virtualization的缩写。

在虚拟机中,一切皆虚拟。比如网卡,虚拟机看来好像有一个真实网卡,但是这个网卡是宿主机虚拟出来的硬件,也就是一堆软件代码而已,没有真实硬件。

虚拟虽然万能,但是很显然,这一堆代码是需要CPU去执行的!所以,虚拟设备的性能会随着宿主机的性能而改变,另外宿主机由于需要进行数据处理,时延等也产生了。

我们之前也提到过,VT-D这个功能可以将物理的PCI-e设备直接分配给虚拟机,让虚拟机直接控制硬件,那么就可以避开上述的问题。但是,虚拟机会独占这个直通的PCI-e设备,一台宿主机可能有成百上千个虚拟机,如果每个虚拟机都给直通一个PCI-e设备,比如网卡,那么该造什么样的主机?拥有100个物理网卡的主机?想象一下也是不太可能。

为了解决这个问题,Intel提出来SR-IOV这个东西。SR-IOV最初应用在网卡上。简单的说,就是一个物理网卡可以虚拟出来多个轻量化的PCI-e物理设备,从而可以分配给虚拟机使用。大概的框图如下:

SR-IOV是虚拟化的一个重要功能。启用SR-IOV的这个功能,将大大减轻宿主机的CPU负荷,提高网络性能,降低网络时延等。


废话少说,下面说一下我们怎么使用SR-IOV,以及SR-IOV的性能如何?

各种主流虚拟宿主机都支持SR-IOV。下面我们用VMware的ESXi平台来讲解。

SR-IOV需要软硬都支持才行。这次我们使用的硬件如下:

  • SuperMICRO X9DRL-iF主版
  • XEON E5 2687W 双CPU
  • DDR3 ECC REG 128GB 内存
  • Intel X540-T2双口万兆网卡
  • 存储若干

首先需要在BIOS打开VT-D及SRIOV支持选项,这个不细说。接下来配置ESXi。

进入ESXi硬件配置页面,找到我们需要进行配置的SR-IOV网卡。

两个网口,我们配置第一个网口为SR-IOV口。

设置虚拟VF为8个。这个网卡每个网口最大支持64个VF。

保存配置之后,重新启动ESXi,就可以看到硬件上出现了8个虚拟网卡设备。这样子我们就完成了ESXi的SR-IOV配置。

小TIPS:初次玩这些东西时,最好选用可靠的服务器平台,这些服务器平台都是经过测试支持SR-IOV的。不要选用民用主板,要不然硬件这一部分你都搞不定,可能就放弃了。


接下来,SR-IOV的性能如何呢?我们对比一下看看。

测试时使用的网络拓扑如下:

两台主机,FreeBSD 12.0和ESXi的10G网口0直连。新建一台虚拟机,Port0中的SR-IOV VF0分配给VM使用。另外,PF设置连接虚拟交换机,然后再给VM分配一个虚拟网卡,连接这个虚拟交换机。

我们将流量跑不同的路径,就可以对比出来两者的性能差异。

下图是Windows8.1虚拟机中的网卡配置,Ethernet1是vmxnet3虚拟网卡,pciPassthru0是SR-IOV的网卡。

下面是虚拟机中的网卡界面。

测试工具使用iperf3。我们在FreeBSD中启动服务端。

虚拟机中,我们先把虚拟机中SR-IOV的VF网卡禁用,先测试虚拟网卡。

2.21Gbit/sec,哦?好像成绩不怎么好?

接下来禁用虚拟网卡,启用VF网卡。看一下VF的网卡的表现:

3.21Gbits/sec

第一轮VF网卡就已经胜出!3.21Gbits VS 2.21Gbits。另外我们也可以看出,虚拟网卡的流量不怎么稳定,最快3.05G, 最慢1.96G/sec。而VF网卡的性能就很稳定了。

不过怎么10G网卡才只有这么点性能?一般来说,单线程流量是喂不饱10G网络的。我们接下来用5个线程来看看。iperf可以通过参数-P 5打开5个线程。

先看虚拟网卡的情况:

不错!变成了8.68Gbits/sec!VF网卡呢?

9.57Gbits/sec!快达到10G网卡的上限了!

当然,10G网络相比较对于1G网络来说,调优非常关键。我们这次限于篇幅这次只用缺省的参数进行测试,不能算是一次严谨的对比。

但是抛开CPU占用等情况,VF网卡已经比虚拟网卡在速度上胜出了。

<think>好的,用户想了解SR-IOV网卡的配置和使用方法。首先,我需要整理一下已有的引用内容,看看里面有哪些关键信息。根据引用1,SR-IOV需要硬件、驱动、操作系统和虚拟化软件的支持。引用2提到SR-IOV在KVM虚拟机中的适用场景,特别是当宿主机CPU压力大或虚拟机需要高发包率时。引用3介绍了Kubernetes中使用SR-IOV CNI插件的相关工具,比如Multus和SR-IOV Network Device Plugin。引用4则涉及到Linux下的配置步骤,比如启用CONFIG_PCI_IOV宏。 用户可能需要一个从硬件检查到具体配置的步骤指南。首先,硬件支持是基础,需要确认网卡是否支持SR-IOV。然后安装驱动,确保内核模块加载。接着在系统层面启用SR-IOV,比如通过sysfs设置VF数量。如果是虚拟化环境,比如KVM,需要配置XML文件,将VF直通给虚拟机。对于Kubernetes环境,可能需要部署CNI插件和相关组件。 还要注意不同环境下的具体需求,比如KVM和Kubernetes的配置差异。用户可能对性能优化和应用场景感兴趣,所以需要强调适用场景,如高负载下的稳定性。此外,常见问题如VF数量限制或驱动问题也应该提到,帮助用户排查。 需要确保步骤清晰,命令准确,避免技术错误。同时,引用对应的参考资料,比如引用2中的场景和引用4的配置步骤。可能还需要补充一些实际命令示例,比如使用lspci检查设备,echo命令创建VF,virsh编辑虚拟机配置等。最后,生成的相关问题要覆盖硬件需求、性能对比、K8s集成和故障排除,这样用户能进一步探索相关主题。</think>### SR-IOV网卡配置与使用教程 #### 一、SR-IOV技术基础 SR-IOV(Single Root I/O Virtualization)通过物理功能(PF)和虚拟功能(VF)实现硬件资源的虚拟化,允许虚拟机直接访问物理网卡资源,提升网络性能并降低CPU开销。其核心依赖硬件支持(如Intel 82599、XXV710等网卡)、驱动程序和操作系统/虚拟化平台兼容性[^1][^2]。 --- #### 二、配置步骤 ##### 1. **硬件与驱动准备** - **检查硬件支持**: ```bash lspci -v | grep -i ethernet # 确认网卡型号支持SR-IOV ``` - **加载驱动模块**(以Intel网卡为例): ```bash modprobe ixgbe # 加载PF驱动 modprobe vfio-pci # VF直通驱动 ``` ##### 2. **启用SR-IOV功能** - **开启内核支持**: 确保内核编译时启用`CONFIG_PCI_IOV`,通过`/sys/bus/pci/devices/[PCI地址]/sriov_numvfs`控制VF数量[^4]: ```bash echo 8 > /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs # 创建8个VF ``` ##### 3. **虚拟化环境配置(以KVM为例)** - **将VF绑定到虚拟机**: 修改虚拟机XML配置,添加PCI设备直通: ```xml <hostdev mode='subsystem' type='pci'> <source> <address domain='0x0000' bus='0x01' slot='0x10' function='0x0'/> </source> </hostdev> ``` 使用`virsh edit [虚拟机名称]`应用配置[^2]。 ##### 4. **Kubernetes环境集成** - **部署SR-IOV CNI插件**: ```bash kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-cni/master/deployment/sriov-cni-daemonset.yaml ``` - **配置Multus多网络接口**: 结合SR-IOV CNI和Device Plugin实现VF资源动态分配[^3]。 --- #### 三、性能优化与场景 - **适用场景**: - 宿主机CPU负载>60%且虚拟机PPS>5万时,SR-IOV可避免网桥模式下的性能下降。 - 高吞吐场景(如NFV、边缘计算)中,SR-IOV结合DPDK可进一步提升包处理能力[^3]。 - **性能对比**: | 模式 | CPU占用 | 最大PPS | |------------|---------|-----------| | 传统网桥 | 高 | <5万 | | SR-IOV | 低 | >10万 | --- #### 四、常见问题排查 - **VF未识别**:检查驱动加载状态`dmesg | grep -i vfio` - **VF数量限制**:通过`cat /sys/class/net/[网卡名]/device/sriov_totalvfs`确认硬件支持上限 - **虚拟机启动失败**:确保IOMMU已启用(BIOS中开启VT-d/AMD-Vi) ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值