数据库修仙金丹篇十——vpp使用kni

VPP:编译安装及运行 阅读详情

vpp使用kni

先将vpp_arm64.tar.gz复制到目标机器上进行解压,解压后的目录结构如下:

root@localhost-Technical-B:~/vpp/vpp# ls
bin  dpaa2  vpp_readme  include  install.sh  kmod  lib  share  startup.conf  usertools  vpp_papi-1.6.2-py2.7.egg

首先阅读vpp_readme,可根据该文档进行安装。

安装时需要运行install.sh脚本,该脚本主要把该目录下的文件拷贝到目的安装路径,并设置环境变量。使用如下命令进行安装:

chmod +x install.sh
./install.sh /mnt/

环境准备

绑定dpdk网口

dynamic_dpl.sh dpmac.4
export DPRC=dprc.2

驱动模块加载

  • 若需要开启kni功能,则需要加载rte_kni.ko模块,使用如下命令加载:

    insmod rte_kni.ko carrier=on
    

    需要注意的是carrier=on在dpdk18.05版本后不能省略,因为dpdk18.05版本后carrier默认为off。

  • 若不需要开启kni功能,则需要确保rte_kni.ko模块已经被卸载

    使用如下命令查看rte_kni.ko是否存在

    lsmod | grep rte_kni
    

    若存在则使用如下命令进行卸载:

    rmmod rte_kni
    

vpp配置文件

vpp配置文件与vpp配置一致,可直接参考vpp startup.conf相关配置(包括kni)。

  • 线程参数

    cpu {
            main-core 4
            corelist-workers 5
    }
    

    一般使用一个main线程和一个worker线程。

  • dpdk参数

    dpdk {
            ## Change default settings for all intefaces
            huge-dir /mnt/hugepages
            no-pci
            num-mem-channels 1
            # kni count
            #kni 1
             dev default {
                    ## Number of receive queues, enables RSS
                    ## Default is 1
                    num-rx-queues 1
                    num-rx-desc 40960
                    #num-rx-desc 65536
                    rss { ipv4 }
    
                    ## Number of transmit queues, Default is equal
                    ## to number of worker threads or 1 if no workers treads
                    num-tx-queues 1
            }
            proc-type primary
            log-level 7
    }
    
    

    其中需要特别留意的是num-rx-desc,该值是dpdk的环形收包缓冲区大小,若设置过小会导致dpdk丢包。按当前测试结果来看40960为最优值,若大流量时出现大量rx-errors可适当增大该值。

    另外若需要启用kni功能,直接在dpdk配置中添加

    kni count
    

    即可,其中count是要支持kni的网口个数。kni网口个数依赖于实际的物理网口个数,kni个数无法超过实际物理网口个数。即kni是与物理网口一一对应的。

  • 插件参数

    plugins {
            ## Adjusting the plugin path depending on where the VPP plugins are
            path /path/lib/vpp_plugins
            vat-path /path/lib/vpp_api_test_plugins
    
            plugin default { enable }
            plugin gtpu_plugin.so { disable }
    }
    

    插件配置中需指明vpp_plugins的路径,另外需将原生的gtpu插件禁用。

kni配置和使用

  • 配置

    当启用kni功能时,对于一个物理网口来说,除vpp本身进行数据包处理外,还会在操作系统中虚拟出一个网口,一般命名为vEth0,其中0跟随kni个数增加。

    对于虚拟出来的网口可使用linux下的ifconfig、ethtool工具对其进行配置。可以将其当作正常的物理网口来使用。

  • 查看

    查看kni统计信息,可直接使用vppctl工具。

    vpp# show int
                  Name               Idx    State  MTU (L3/IP4/IP6/MPLS)     Counter          Count
    TenGigabitEthernet0               1      up          1500/0/0/0
    local0                            0     down          0/0/0/0
    ----------------------------------------------------------------------------------------------------
    vEth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9216
            inet 121.168.1.12  netmask 255.255.255.0  broadcast 121.168.1.255
            inet6 fe80::b0c4:a3ff:feba:2ddf  prefixlen 64  scopeid 0x20<link>
            ether b2:c4:a3:ba:2d:df  txqueuelen 1000  (Ethernet)
            RX packets 8  bytes 708 (708.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 16  bytes 1364 (1.3 KB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    vpp# show int addr
    TenGigabitEthernet0 (up):
      L3 192.168.8.25/16
    local0 (dn):
    ----------------------------------------------------------------------------------------------------
    vEth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9216
            inet 121.168.1.12  netmask 255.255.255.0  broadcast 121.168.1.255
            inet6 fe80::b0c4:a3ff:feba:2ddf  prefixlen 64  scopeid 0x20<link>
            ether b2:c4:a3:ba:2d:df  txqueuelen 1000  (Ethernet)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 10  bytes 796 (796.0 B)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
  • 分流

    分流是指需要决定一个报文是该送往kni经内核协议栈处理,还是该送往vpp由用户态协议栈处理。当前默认分流原则为GTPU报文送往用户态协议栈,非GTPU报文送往内核协议栈。因当前无其他分流策略,暂时不支持分流策略配置,均采用默认分流策略。

需要特别注意的是,当前kni和vpp可以配置相同的ip,也可以配置不同的ip。但kni和vpp的网口物理地址必须相同。

VPP学习-startup.conf配置文件 VPP(Vector Packet Processing,矢量报文处理),作为一个开源的高性能数据包处理框架,旨在提供可扩展、灵活且高效的网络数据包处理能力;由于传统Linux 内核协议栈整体网络吞吐性能的局限性,目前VPP已被广泛运用于路由器、防火墙等网络设备上,因此,作为网络开发工程师,在熟悉Linux内核协议栈的同时,有必要对VPP用户态协议栈有所了解,了解其实现原理、编码特点,报文处理方式以及通过何种方式实现性能提升,从今天开始希望和大家一起研究学习。 阅读详情

相关推荐

【Lane】 Ultra-Fast-Lane-Detection 复现

引言 车道线检测源码复现以及训练自己的数据集 1 环境搭建 conda create -n lane python=3.7 conda activate lane # 激活环境 conda install pytorch torchvision cudatoolkit=10.1 -c pytorch pip install -r requirements.txt 2 下载项目源码 若在服务器上可以用指令下载,否则直接在网址中下载 git clone https://github.com/cfzd/U

qq_44703886的博客 2万+

dpdk之kni实现

一、为什么要用kni 通常情况下dpdk用于二三层报文转发,接收到来自网卡的报文后,如果是二层报文则查找fdb表; 如果是三层报文,则进行dnat, snat处理后,查找路由表, 将报文转发给下一跳路由。这些二三层转发操作都是直接转发到另一台设备上,不需要经过内核,无需内核协议栈的参与。 然而有些场景下报文是直接发给运行dpdk程序的这台设备本身的。例如ping...

ApeLife技术博客 8664

Unity - gamma space下还原linear space效果

还有头发之后的 (头发没有处理完整,因为使用 ASE 连连看练出来的,使用 surface shader,虽然可以生成一下 vert, frag 的方式在修改,但是我懒得去修改了,这样就是 PBR 的 BRDF 里面的部分曲线是不一样的,所以可以看到头发有一些差异)其实上面的代码判断 是否有分量 > 1.0f 的方式来判断是否 HDR 是不太合理的,因为不同的贴图格式的编码方式不同。还有比较隐蔽的一些颜色相关的常量值 (比如PBR中的 绝缘体的 F0 常量值,等等)

Jave.Lin 的学习笔记 2832

【DPDK】关于x86_64-native-linuxapp-gcc/kmod中找不到rte_kni.ko的解决办法

dpdk安装很久了,其他一切正常,可以正常插入igb_uio.ko模块,examples中的l2fwd和l3fwd都可以正常编译运行。 只是想插入kni内核模块的时候一直报错 在kmod目录下也找了,确实只有一个igb_uio.ko内核模块,没有rte_kni.ko。正常情况下应该是两个内核模块。 因为在搞kni的同时在安装dpdk-pktgen,所以更新了很多东西,不知道这里有没有关系。 ...

weixin_43266488的博客 3967

电商秒杀场景下,如何用Redis+Lua脚本实现原子性库存扣减(附完整代码)

本文针对电商秒杀场景下的高并发与超卖难题,详细解析了如何利用Redis的原子性命令与Lua脚本实现可靠的库存扣减。通过对比多种方案,阐述了Redis+Lua作为黄金搭档的技术原理,并提供了从基础扣减到预扣减模型的完整代码实现,确保在高并发下数据的一致性与系统性能。

weixin_29219539的博客 505

Amesim与Simulink联合仿真:S-Function接口配置与实战避坑指南

本文详细介绍了Amesim与Simulink联合仿真中S-Function接口的配置方法与实战避坑指南。从环境搭建、编译器配置到S-Function接口实战,逐步解析关键步骤与常见问题解决方案,帮助工程师高效实现多领域系统仿真,特别适合汽车、航空航天等复杂系统建模场景。

weixin_29173777的博客 345

linux内核模块编译和安装--kni module移植的makefile

根据需要需要把依赖dpdk的kni module移植,所以就学习了下模块编译makefile,总结如下 Makefile内容如下 obj-m += rte_kni.o #要生成的module文件名为rte_kni.ko #指定生成module需要的所有.o文件 rte_kni-objs:=kni_misc.o kni_ethtool.o kni_net.o ethtool/ixgbe

u013920085的专栏 3117

uniapp [安卓苹果App端] - 实现APP开发后台保活+息屏后台持续运行效果,强制后台保活手机黑屏后进程存活后台保持网络连接或持续定位等功能提供支持(app后台运行休眠仍然可以确保一直运行)

uniapp APP开发后台保活,Uniapp-APP后台保活插件(安卓苹果ios后台保活)保证应用在后台继续运行,uniapp实现app保活 保后台运行 避免系统主动杀进程,如何让安卓APP一直在后台运行?uniapp 安卓 APP 后台持续运行(保活)iOS App后台保活,Android 后台运行白名单实现保活,保活息屏后台运行,uniapp后台保活,uniapp熄屏 后台运行,Android/ios进程保活/息屏后后台保持定位、网络运行,uniapp在android ios保活,挂后台可运行,安卓A

🏆 前端领域优质创作者 1万+

数据库修仙金丹篇十二——ptp1588v2实现方案

ptp1588v2实现方案

growdu的网络博客 1977

毕设-YOLOv8-OBB 实现自有数据集缺陷旋转检测全过程记录

这次项目让我深入理解了 YOLOv8-OBB 的原理和使用流程。步骤内容工具数据标注制作倾斜缺陷样本格式转换从 HBB 转换为 OBB模型训练使用 Ultralytics YOLOv8 OBBCLI 命令模型测试推理与结果可视化通过 OBB 模型,我的缺陷检测系统获得了更高的精度和鲁棒性。未来我打算继续优化数据增强方式,比如引入随机旋转、仿射变换等,让模型更适应不同角度的样本。

FJN110的博客 447

【数据集】中国2003年至2022年全天空每日气温数据集

中国2003年至2022年全天空每日气温数据集

WW、forever的博客 604

FD.IO-VPP研究及使用七(使用TRex测试vpp隧道性能)

硬件:Intel® Atom™ CPU C3758 @ 2.20GHz, 4G内存, 4核,1G网卡 软件:ubuntu16.04, vpp18.10 TRex双向线速发64字节的小包。 测试二层报文 拓扑如下: 待测vpp设备配置: startup.conf cpu { main-core 1 corelist-workers 0,2,3 } vppctl...

weixin_40815457的博客 6128

深入解析:使用Python进行T矩阵散射计算的完整指南

在物理学和工程学中,散射是一个至关重要的概念。当波(无论是光波、声波还是其他类型的波)遇到一个障碍物时,它会在多个方向上散开。为了理解和预测这种行为,我们需要进行数学建模和计算。其中,T矩阵方法是一种非常有效的工具。在开始计算之前,我们需要定义一些基础函数。"""计算T矩阵的一个元素。参数:- wave_vector: 波矢- scatterer_position: 散射体的位置- scatterer_properties: 散射体的性质(如大小、形状等)返回:- T矩阵的一个元素。

qq_38334677的博客 1056

DPDK之KNI原理

DPDK是一个优秀的收发包kit,但它本身并不提供用户态协议栈,因此由将数据报文注入内核协议栈的需求,也就是KNI(Kernel NIC Interface)。作为用户态和内核的接口,其因为没有系统调用和内存拷贝,因此比传统的tun/tap设备要更高效。 借用DPDK文档的一个KNI的结构图。 图1. kni结构图 毫无疑问,KNI必然要也需要内核模块的支持,即rte_kni.ko...

~~ LINUX ~~ 5326

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

dpdk KNI技术详解

在加载kni模块时,可以设置它的内核线程模式::只在内核侧创建一个内核线程,来接收所有kni设备上的数据包,一个线程 vs 所有kni设备:每个kni接口创建一个内核线程,用来接收数据包,一个线程 vs 一个kni设备dpdk在加载kni模块时,默认是采用的single模式,同时还可以为此内核线程设置cpu亲和性。

china718419198的博客 2005

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

VPP /什么是VPP?读这篇文章就够了

目录 介绍 为什么称为向量处理? 用例示例:VPP作为vSwitch / vRouter VPP的主要特征 绩效期望 介绍 VPP平台是一个可扩展的框架,可提供开箱即用的生产质量交换机/路由器功能。它是思科矢量数据包处理(VPP)技术的开源版本:一种高性能的数据包处理堆栈,可以在商用CPU上运行。 实施VPP的好处在于其高性能,经过验证的技术,其模块化和灵活性以及丰富的功能集。 VPP技术基于久经考验的技术,已帮助交付了超过10亿美元的思科产品。这是一个模块化设计。该框架允许任何人“插入”

RToax 3万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

数据接收全流程图(物理网卡 → 应用层)

+------------------+ Socket API +------------------+ 系统调用 +-----------+ || +------------------+ 协议解析 +------------------+ 路由决策 +-------------+ || +---------------------+ 共享内存 +------------------+ 向量化传递 +--------+ |

blog 1672

深入浅出DPDK KNI核心技术

(免费订阅,永久学习)学习地址:

lingshengxiyou的博客 1367

dpdk kni实现:笔记

通过这个/dev/kni混合设备,可以接收应用层的ioctl消息,按需来创建各种kni设备、删除kni设备、打开kni设备、关闭kni设备、设置mtu、接收ethtool工具的命令操作消息等等。需要注意的是,驱动层创建的两种设备,一个是/dev/kni混合设备, 另一个是kni设备,这两个是不同的设备类型。并为每一个kni设备,分配好发送队列、接收队列、分配队列、释放队列、请求队列、响应队列。需要注意的是,驱动层创建的两种设备,一个是/dev/kni混合设备, 另一个是kni设备,这两个是不同的设备类型。

dangdanding的专栏 1022

dpdk 程序创建 kni 虚拟网络接口失败的问题

问题描述 今天接到了同事的一个反馈,说更新了 dpdk 后 kni 口无法正常创建。怀疑可能是 rte_kni.ko 模块存在问题导致创建失败。

龙瑜的博客 1311

数据库修仙金丹篇八——dpdk之kni使用

dpdk之kni使用 什么是kni Kni(Kernel NIC Interface)内核网卡接口,是DPDK允许用户态和内核态交换报文的解决方案,模拟了一个虚拟的网口,提供dpdk的应用程序和linux内核之间通讯。kni接口允许报文从用户态接收后转发到linu协议栈去。 为什么要弄一个kni接口,虽然dpdk的高速转发性能很出色,但是也有自己的一些缺点,比如没有协议栈就是其中一项缺陷,当然也可能当时设计时就将没有将协议栈考虑进去,毕竟协议栈需要将报文转发处理,可能会使处理报文的能力大大降低。 当k

growdu的网络博客 7740

DPDK内核模块KNI

DPDK Kernel NIC Interface (KNI)接口允许DPDK用户程序访问Linux控制平面。 使用DPDK KNI的有点如下: 相较现存的Linux TUN/TAP接口更快的速度(消除了系统调用以及copy_to_user()/copy_from_user()内存拷贝的消耗) 允许标准Linux网络工具管理DPDK接口,如ethtool, ifconfig 和 tcpdum...

redwingz的博客 6336

dpdk课程学习之练习笔记五(kni理解及测试)

dpdk有关kni的练习: kni模块可以实现把不用dpdk处理的相关协议报文扔给内核处理,并接受返回结果用dpdk接管的网卡进行发送出去。 1:kni概述(内核网卡接口Kernel NIC Interface) dpdk提供了kni模块,实现了dpdk应用程序与内核数据的交互。 dpdk接管网卡数据后,内核其实就无法识别到网卡数据了。 dpdk提供了kni模块,用虚拟网络适配器(模拟了一个网卡),实现了dpdk应用程序和内核网络模块的交互。 所以kni的模块主要就是提供了一个中间虚拟网络适配器,把dpd

yun6853992的博客 3842

VPP环境配置指南

简介 VPP平台是一个可扩展的框架,提供开箱即用的可供生产环境使用的交换机/路由器功能。 它是一种可在x86 cpu上运行的高性能数据包处理堆栈。VPP采用模块化设计, 该框架允许任何人“插入”新的功能节点而无需更改核心/内核代码。 一、VPP编译(开发版本) 系统:ubuntu18.04.1 TLS vpp版本:19.01-rc0 建议使用具有root权限的用户,并将源补全,初始源可能不完...

maylcc的博客 5363

奇葩的性能测试:VPP转发性能和主机配置的关系

和报文数量相关的、和计算相关的,就和CPU性能相关性大一些,CPU主频越高、核数越多,新建会话速率也就越高,能同时处理的报文数量就越多;每个包大小不一样,转发是占用运行内存的,运行内存越大,并发会话数量也就越大,对应的,设备吞吐量也越大、转发容量也越大”。查看PCB作为服务器时,仅有4种实例规格转发性能有所提升,并在16C64G时128字节的转发速率达到最大的1.39 Gbps,而1400字节的转发速率则在规格为4C8G时达到最大的6.84 Gbps,但是提升幅度也仅有2.8 %。我们来简单测试一下。

衡水铁头哥的博客 798

dpdk rte_kni 模块 kni_open 函数 oops 问题分析

问题描述 在适配某平台的时候遇到 kni_open 函数调用的时候内核 oops,oops 的主要信息见下图: 前期得到的输入信息是内核的 config 文件换过,换了之后重新编译测试出现了这个问题,可能是 config 文件影响,排查 config 文件的区别,没有发现怀疑点,只能怼 oops 了! 从 oops 中获取到的关键信息 上述 oops 内容将问题指向如下位置: kni_open 函数 0x16 偏移量处 objdump -d rte_kni.ko 获取到如下信息: 00000000000

龙瑜的博客 806
上一篇: 数据库修化神篇四——简介和设置REPL
下一篇: 数据库修化神篇五——仅支持追加的单表内存数据库
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值