本文详细介绍VPP在CentOS7.6上的安装步骤与配置流程，包括构建安装、配置运行、关闭网卡接口、安装网卡驱动、设置大页存储、绑定驱动、配置与启动VPP等关键环节，适合初次接触VPP的读者。
目录
#3.设置大页存储（可选步骤，DPDK编译运行igb_uio方式选用，modprobe igb_uio）
#4.接口绑定驱动(建议但可选步骤，检查物理网口是否绑定驱动)
新版请索引至网站 https://blog.youkuaiyun.com/turbock/article/details/106880686
因细节改动，详细请参考本文地址：https://turbock79.cn/?p=318
操作系统：CentOS7.6 Linux version 3.10.0-957.27.2.el7.x86_64
VPP版本：19.08
操作用户权限：root
- 系统驱动如果支持MSI-X，就无法使用驱动uio_pci_generic，必须使用vfio-pci。
- 在没有OIMMU的系统上，vfio驱动也能被用到 内核4.15.0-33-generic kernel (Ubuntu 18.04)非iommu模式下。
- 下载地址：
gerrit：https://gerrit.fd.io/r/admin/repos/vpp GitHub：https://github.com/FDio/vpp #例如下载某分支 git clone -b stable/2001 https://github.com/FDio/vpp.git
也可以直接克隆稳定分支，采用SSH协议 git clone -b stable/1908 "ssh://XXX@gerrit.fd.io:29418/vpp"，XXX表示用户登录账号。
一、VPP构建安装
首先附上官方文档
https://wiki.fd.io/view/VPP/Pulling,_Building,_Running,_Hacking_and_Pushing_VPP_Code
第一次安装首先运行./extras/vagrant/build.sh
然后根据版本运行如下命令。因为不同版本编译方式会有细微改变，可以通过vpp源码目录中运行make查看命令帮助。例如18.07版本集成dpdk，需要执行make dpdk-install-dev来安装运行DPDK来辅助VPP。
# if vpp<08.10
make install-dep
make bootstrap
make build # or `make build-release`
# vpp 08.10+ (cmake)
make install-dep
make install-ext-deps
make build # or `make build-release`本文采用19.08版本VPP编译，最后一步make build安装好DEBUG版本后，可以在/root/vpp/build-root下面看到生成目录install-vpp_debug-native/vpp以及build-vpp_debug-native/vpp目录，其中第一个目录为运行安装文件目录，所有编译好的运行及配置等文件已准备好；第二个目录为编译时运行目录，里面很多编译过程中采用的文件。（如果读者采用git克隆master版本，最好切换到稳定发布版本再进行编译，如下图，然后git checkout XXX）。
**问题1**.如果make install-dep步骤遇到--skip-broken问题，是依赖包版本冲突问题，需要删除对应版本冲突包，`yum remove XXX`,在进行make install-dep即可。
**问题2**. 出现如下问题
CMake Error at CMakeLists.txt:4 (PROJECT):
No CMAKE_CXX_COMPILER could be found.
make[3]: *** [/root/vpp-20.01/build/external/rpm/tmp/.quicly.build.ok] Error 1
make[3]: Leaving directory `/root/vpp-20.01/build/external'
错误：/var/tmp/rpm-tmp.J9OIpD (%install) 退出状态不好解决方法`yum install gcc-c++`
二、 配置运行vpp
#1.关闭待接管网卡接口
#关闭计划用dpdk接管的网卡接口，并查询其pci端口号，可以通过lspci |grep Ethernet查看。此时需要确认本机物理网卡或虚拟网卡为DPDK支持类型，查询网址https://core.dpdk.org/supported/
ifconfig ens33 down#2.安装NIC网卡驱动模块
#为了正常工作，不同物理介质关联层接口（PMD）可能需要不同驱动程序。取决正在使用的PMD，同时加载对应的内核驱动并绑定网络端口。这里网卡可加载模块驱动类型包含uio_pci_generic、igb_uio、vfio-pci等。
注意：
- 作为uio_pci_generic替代方案，DPDK包含igb_uio模块。对于一些不支持传统中断的设备，例如虚拟化功能（VF）设备，可能需要使用igb_uio來代替uio_pci_generic。
- 如果启用UEFI安全引导，则Linux可能会禁止在系统上使用UIO。因此，由DPDK使用的设备应绑定到vfio-pci内核模块，而不是使用igb_uio或uio_pci_generic。 VFIO内核模块自Linux内核3.6.0版以来已包含在内核中，通常是默认存在的，请查阅您的发行版文档以确保是这样的。此外，要使用VFIO，内核和BIOS必须支持并配置为使用IO虚拟化（如Intel®VT-d）
#因为虚拟机的系统内核为3.10，内置vfio，所以直接加载vfio-pci。读者可根据实际情况选用uio_pci_generic/igb_uio/vfio-pci等。(如果igb_uio，需要单独编译dpdk获取igb_uio.ko,并采用命令insmod igb_uio.ko进行安装)
#0.启动对应驱动模块,此处选用vfio
modprobe vfio-pci
#modprobe igb-uio
#modprobe uio_pci_generic
#1.启动非安全NOIOMMU模式(仅在系统没有IOMMU时) ,启动该选项VPP可自动接管网卡显示在vppctl中
echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode#3.设置大页存储（可选步骤，DPDK编译运行igb_uio方式选用，modprobe igb_uio）
#分配巨页1024*2M=2G
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
#该分配方法也可行sysctl -w vm.nr_hugepages=2048
#查看大页分配数目
cat /proc/meminfo| grep Huge#4.接口绑定驱动(建议步骤，可不选，检查物理网口是否绑定驱动)
创建网卡接口时可选用指定关键接口来创建。通过驱动vfio-pci绑定网卡pci端口，-b表示--bind的意思；0000:0b:00.0是当前物理机或虚拟机采用的网卡pci端口号.参考官方文档https://wiki.fd.io/view/VPP/How_To_Connect_A_PCI_Interface_To_VPP
#0.查询网卡物理地址
lspci |grep Ethernet
#或采用如下命令
sudo lshw -class network -businfo
#回显返回02:01.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01)，其中02.01.0为物理地址。
#1.绑定接口到vfio-pci
cd /root/vpp/extras/vpp_config/scripts/
./dpdk-devbind.py --bind vfio-pci 0000:02:05.0 //将物理网卡绑定驱动
./dpdk-devbind.py --status //查看网卡使用驱动状态#如果绑定出现问题，通过dmesg|grep -i vfio-pci检查错误信息。实验中总是绑定网卡失败错误码-22，表示无效参数。最后证明是驱动不支持网卡类型，或者是DPDK不支持，或虚拟机中需要启动IOMMU支持。
# 修改系统内核启动参数，重启系统，查看是否开启IOMMU
$ dmesg | grep -e DMAR -e IOMMU
[ 0.000000] DMAR: IOMMU enabled
# 查看是否开启intel-vt-x/vt-d
$ cat /proc/cpuinfo | grep vmx这里重点是，一定要启动IOmmu或Intel VT-d！！！-22错误一般都是IOmmu没有开启。有些需要在linux中通过命令启动，如步骤2 ；有些需要在虚拟机选项上配置，右键单击虚拟机（关机状态）-》设置-》处理器-》虚拟化引擎标签栏中，选中 启动虚拟化IOmmu。可参考https://blog.51cto.com/14207158/2352319 或https://www.cnblogs.com/vancasola/p/9378970.html 或 https://fd.io/docs/vpp/master/usecases/vhost/vhost.html 或 https://blog.51cto.com/10017068/2107562
最近更新内核到5.4，上述命令无法成功。在许多教程之后,他们会要求你改变grup文件 /boot/grub/grub.conf,但在Centos7中路径为/etc/default/grub或/etc/sysconfig/grub。在内核中激活Intel VT-d。通过将intel_iommu = on参数附加到grub.conf文件中内核行的内核行来激活内核中的Intel VT-d。通过vi /etc/default/grub编辑器修改，修改GRUB_CMDLINE_LINUX=参数最后增加一条intel_iommu=on.
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash iommu=pt intel_iommu=on"//添加配置信息iommu=pt intel_iommu=on"然后使用grub2重新生成grub配置：
yum install grub2
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo reboot#5.配置vpp(建议但可选步骤)
#如果采用rpm包安装，默认配置文件位置为/etc/vpp/startup.conf。如果采用编译安装方式安装，配置文件位置为/root/vpp/build-root/install-vpp_debug-native/vpp/etc/vpp/startup.conf。
cd /root/vpp/build-root/install-vpp_debug-native/vpp //该路径为生成vpp的安装路径
vim ./etc/vpp/startup.conf //添加如下内容
dpdk {
uio-driver vfio-pci //设置网卡驱动类型
dev 0000:02:05.0 {name g0} //这里需要根据pci接口修改,命令查看lspci |grep Ethernet
dev 0000:02:06.0 {name g1}
socket-mem 1024
}#本文没有采用3、4、5步骤,第5步可以视情况修改对应配置，例如cli入口，cpu，网口端口名称存储等。
#6.启动vpp
#1.如果采用rpm安装包安装，可以通过修改/etc/vpp/startup.conf之后，然后systemctl start vpp启动服务。
如果想要VPP自动加载并接管down掉网卡，需要重启服务vpp。采用命令systemctl restart vpp重启后，稍等数秒采用命令vppctl登录。
#2.如果采用编译源码安装方式，可以执行如下命令
cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vpp –c ./etc/vpp/startup.conf &
#按住ctrl+C退出该服务#7.创建网卡接口及IP地址
通过vppctl控制台登录服务进行管理
cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vppctl登录vppctl控制台后， 如下图所示，表示登录进入控制台。大多情况下vpp可识别端口并动态创建好，仅需up启动即可。如果没有创建好，通过手动绑定，或重启vpp服务来获取绑定网卡。
通过命令查询pci接口，并进行端口创建。
我们可以通过命令行接口(CLI)动态创建网络接口，而不用配置文件绑定。如执行上述4、5步骤配置pci接口，则下面代码可以忽略。
#个别驱动通过该命令执行
create interface avf 0000:02:05.0
set int state GigabitEthernet2/1/0 up显示端口并配置ip
show int
set int state GigabitEthernet2/1/0 up #启动端口
set int ip address GigabitEthernet2/1/0 192.168.2.2/24
show int address
show hardware
show ip arp
show ip fib
扫一扫
3834
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
