目录
#3.设置大页存储(可选步骤,DPDK编译运行igb_uio方式选用,modprobe igb_uio)
#4.接口绑定驱动(建议但可选步骤,检查物理网口是否绑定驱动)
新版请索引至网站 https://blog.youkuaiyun.com/turbock/article/details/106880686
因细节改动,详细请参考本文地址:https://turbock79.cn/?p=318
操作系统:CentOS7.6 Linux version 3.10.0-957.27.2.el7.x86_64
VPP版本:19.08
操作用户权限:root
- 系统驱动如果支持MSI-X,就无法使用驱动uio_pci_generic,必须使用vfio-pci。
- 在没有OIMMU的系统上,vfio驱动也能被用到 内核4.15.0-33-generic kernel (Ubuntu 18.04)非iommu模式下。
- 下载地址:
gerrit:https://gerrit.fd.io/r/admin/repos/vpp GitHub:https://github.com/FDio/vpp #例如下载某分支 git clone -b stable/2001 https://github.com/FDio/vpp.git
也可以直接克隆稳定分支,采用SSH协议 git clone -b stable/1908 "ssh://XXX@gerrit.fd.io:29418/vpp",XXX表示用户登录账号。
一、VPP构建安装
首先附上官方文档
https://wiki.fd.io/view/VPP/Pulling,_Building,_Running,_Hacking_and_Pushing_VPP_Code
第一次安装首先运行./extras/vagrant/build.sh
然后根据版本运行如下命令。因为不同版本编译方式会有细微改变,可以通过vpp源码目录中运行make查看命令帮助。例如18.07版本集成dpdk,需要执行make dpdk-install-dev来安装运行DPDK来辅助VPP。
# if vpp<08.10
make install-dep
make bootstrap
make build # or `make build-release`
# vpp 08.10+ (cmake)
make install-dep
make install-ext-deps
make build # or `make build-release`
本文采用19.08版本VPP编译,最后一步make build安装好DEBUG版本后,可以在/root/vpp/build-root下面看到生成目录install-vpp_debug-native/vpp以及build-vpp_debug-native/vpp目录,其中第一个目录为运行安装文件目录,所有编译好的运行及配置等文件已准备好;第二个目录为编译时运行目录,里面很多编译过程中采用的文件。(如果读者采用git克隆master版本,最好切换到稳定发布版本再进行编译,如下图,然后git checkout XXX)。
**问题1**.如果make install-dep步骤遇到--skip-broken问题,是依赖包版本冲突问题,需要删除对应版本冲突包,`yum remove XXX`,在进行make install-dep即可。
**问题2**. 出现如下问题
CMake Error at CMakeLists.txt:4 (PROJECT):
No CMAKE_CXX_COMPILER could be found.
make[3]: *** [/root/vpp-20.01/build/external/rpm/tmp/.quicly.build.ok] Error 1
make[3]: Leaving directory `/root/vpp-20.01/build/external'
错误:/var/tmp/rpm-tmp.J9OIpD (%install) 退出状态不好
解决方法`yum install gcc-c++`
二、 配置运行vpp
#1.关闭待接管网卡接口
#关闭计划用dpdk接管的网卡接口,并查询其pci端口号,可以通过lspci |grep Ethernet查看。此时需要确认本机物理网卡或虚拟网卡为DPDK支持类型,查询网址https://core.dpdk.org/supported/
ifconfig ens33 down
#2.安装NIC网卡驱动模块
#为了正常工作,不同物理介质关联层接口(PMD)可能需要不同驱动程序。取决正在使用的PMD,同时加载对应的内核驱动并绑定网络端口。这里网卡可加载模块驱动类型包含uio_pci_generic、igb_uio、vfio-pci等。
注意:
- 作为uio_pci_generic替代方案,DPDK包含igb_uio模块。对于一些不支持传统中断的设备,例如虚拟化功能(VF)设备,可能需要使用igb_uio來代替uio_pci_generic。
- 如果启用UEFI安全引导,则Linux可能会禁止在系统上使用UIO。因此,由DPDK使用的设备应绑定到vfio-pci内核模块,而不是使用igb_uio或uio_pci_generic。 VFIO内核模块自Linux内核3.6.0版以来已包含在内核中,通常是默认存在的,请查阅您的发行版文档以确保是这样的。此外,要使用VFIO,内核和BIOS必须支持并配置为使用IO虚拟化(如Intel®VT-d)
#因为虚拟机的系统内核为3.10,内置vfio,所以直接加载vfio-pci。读者可根据实际情况选用uio_pci_generic/igb_uio/vfio-pci等。(如果igb_uio,需要单独编译dpdk获取igb_uio.ko,并采用命令insmod igb_uio.ko进行安装)
#0.启动对应驱动模块,此处选用vfio
modprobe vfio-pci
#modprobe igb-uio
#modprobe uio_pci_generic
#1.启动非安全NOIOMMU模式(仅在系统没有IOMMU时) ,启动该选项VPP可自动接管网卡显示在vppctl中
echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
#3.设置大页存储(可选步骤,DPDK编译运行igb_uio方式选用,modprobe igb_uio)
#分配巨页1024*2M=2G
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
#该分配方法也可行sysctl -w vm.nr_hugepages=2048
#查看大页分配数目
cat /proc/meminfo| grep Huge
#4.接口绑定驱动(建议步骤,可不选,检查物理网口是否绑定驱动)
创建网卡接口时可选用指定关键接口来创建。通过驱动vfio-pci绑定网卡pci端口,-b表示--bind的意思;0000:0b:00.0是当前物理机或虚拟机采用的网卡pci端口号.参考官方文档https://wiki.fd.io/view/VPP/How_To_Connect_A_PCI_Interface_To_VPP
#0.查询网卡物理地址
lspci |grep Ethernet
#或采用如下命令
sudo lshw -class network -businfo
#回显返回02:01.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01),其中02.01.0为物理地址。
#1.绑定接口到vfio-pci
cd /root/vpp/extras/vpp_config/scripts/
./dpdk-devbind.py --bind vfio-pci 0000:02:05.0 //将物理网卡绑定驱动
./dpdk-devbind.py --status //查看网卡使用驱动状态
#如果绑定出现问题,通过dmesg|grep -i vfio-pci检查错误信息。实验中总是绑定网卡失败错误码-22,表示无效参数。最后证明是驱动不支持网卡类型,或者是DPDK不支持,或虚拟机中需要启动IOMMU支持。
# 修改系统内核启动参数,重启系统,查看是否开启IOMMU
$ dmesg | grep -e DMAR -e IOMMU
[ 0.000000] DMAR: IOMMU enabled
# 查看是否开启intel-vt-x/vt-d
$ cat /proc/cpuinfo | grep vmx
这里重点是,一定要启动IOmmu或Intel VT-d!!!-22错误一般都是IOmmu没有开启。有些需要在linux中通过命令启动,如步骤2 ;有些需要在虚拟机选项上配置,右键单击虚拟机(关机状态)-》设置-》处理器-》虚拟化引擎标签栏中,选中 启动虚拟化IOmmu。可参考https://blog.51cto.com/14207158/2352319 或https://www.cnblogs.com/vancasola/p/9378970.html 或 https://fd.io/docs/vpp/master/usecases/vhost/vhost.html 或 https://blog.51cto.com/10017068/2107562
最近更新内核到5.4,上述命令无法成功。在许多教程之后,他们会要求你改变grup文件 /boot/grub/grub.conf,但在Centos7中路径为/etc/default/grub或/etc/sysconfig/grub。在内核中激活Intel VT-d。通过将intel_iommu = on参数附加到grub.conf文件中内核行的内核行来激活内核中的Intel VT-d。通过vi /etc/default/grub
编辑器修改,修改GRUB_CMDLINE_LINUX=参数最后增加
一条intel_iommu=on.
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash iommu=pt intel_iommu=on"//添加配置信息iommu=pt intel_iommu=on"
然后使用grub2重新生成grub配置:
yum install grub2
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo reboot
#5.配置vpp(建议但可选步骤)
#如果采用rpm包安装,默认配置文件位置为/etc/vpp/startup.conf。如果采用编译安装方式安装,配置文件位置为/root/vpp/build-root/install-vpp_debug-native/vpp/etc/vpp/startup.conf。
cd /root/vpp/build-root/install-vpp_debug-native/vpp //该路径为生成vpp的安装路径
vim ./etc/vpp/startup.conf //添加如下内容
dpdk {
uio-driver vfio-pci //设置网卡驱动类型
dev 0000:02:05.0 {name g0} //这里需要根据pci接口修改,命令查看lspci |grep Ethernet
dev 0000:02:06.0 {name g1}
socket-mem 1024
}
#本文没有采用3、4、5步骤,第5步可以视情况修改对应配置,例如cli入口,cpu,网口端口名称存储等。
#6.启动vpp
#1.如果采用rpm安装包安装,可以通过修改/etc/vpp/startup.conf之后,然后systemctl start vpp启动服务。
如果想要VPP自动加载并接管down掉网卡,需要重启服务vpp。采用命令systemctl restart vpp重启后,稍等数秒采用命令vppctl登录。
#2.如果采用编译源码安装方式,可以执行如下命令
cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vpp –c ./etc/vpp/startup.conf &
#按住ctrl+C退出该服务
#7.创建网卡接口及IP地址
通过vppctl控制台登录服务进行管理
cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vppctl
登录vppctl控制台后, 如下图所示,表示登录进入控制台。大多情况下vpp可识别端口并动态创建好,仅需up启动即可。如果没有创建好,通过手动绑定,或重启vpp服务来获取绑定网卡。
通过命令查询pci接口,并进行端口创建。
我们可以通过命令行接口(CLI)动态创建网络接口,而不用配置文件绑定。如执行上述4、5步骤配置pci接口,则下面代码可以忽略。
#个别驱动通过该命令执行
create interface avf 0000:02:05.0
set int state GigabitEthernet2/1/0 up
显示端口并配置ip
show int
set int state GigabitEthernet2/1/0 up #启动端口
set int ip address GigabitEthernet2/1/0 192.168.2.2/24
show int address
show hardware
show ip arp
show ip fib