数据库修仙金丹篇十——vpp使用kni

VPP:编译安装及运行 阅读详情

vpp使用kni

先将vpp_arm64.tar.gz复制到目标机器上进行解压,解压后的目录结构如下:

root@localhost-Technical-B:~/vpp/vpp# ls
bin  dpaa2  vpp_readme  include  install.sh  kmod  lib  share  startup.conf  usertools  vpp_papi-1.6.2-py2.7.egg

首先阅读vpp_readme,可根据该文档进行安装。

安装时需要运行install.sh脚本,该脚本主要把该目录下的文件拷贝到目的安装路径,并设置环境变量。使用如下命令进行安装:

chmod +x install.sh
./install.sh /mnt/

环境准备

绑定dpdk网口

dynamic_dpl.sh dpmac.4
export DPRC=dprc.2

驱动模块加载

  • 若需要开启kni功能,则需要加载rte_kni.ko模块,使用如下命令加载:

    insmod rte_kni.ko carrier=on
    

    需要注意的是carrier=on在dpdk18.05版本后不能省略,因为dpdk18.05版本后carrier默认为off。

  • 若不需要开启kni功能,则需要确保rte_kni.ko模块已经被卸载

    使用如下命令查看rte_kni.ko是否存在

    lsmod | grep rte_kni
    

    若存在则使用如下命令进行卸载:

    rmmod rte_kni
    

vpp配置文件

vpp配置文件与vpp配置一致,可直接参考vpp startup.conf相关配置(包括kni)。

  • 线程参数

    cpu {
            main-core 4
            corelist-workers 5
    }
    

    一般使用一个main线程和一个worker线程。

  • dpdk参数

    dpdk {
            ## Change default settings for all intefaces
            huge-dir /mnt/hugepages
            no-pci
            num-mem-channels 1
            # kni count
            #kni 1
             dev default {
                    ## Number of receive queues, enables RSS
                    ## Default is 1
                    num-rx-queues 1
                    num-rx-desc 40960
                    #num-rx-desc 65536
                    rss { ipv4 }
    
                    ## Number of transmit queues, Default is equal
                    ## to number of worker threads or 1 if no workers treads
                    num-tx-queues 1
            }
            proc-type primary
            log-level 7
    }
    
    

    其中需要特别留意的是num-rx-desc,该值是dpdk的环形收包缓冲区大小,若设置过小会导致dpdk丢包。按当前测试结果来看40960为最优值,若大流量时出现大量rx-errors可适当增大该值。

    另外若需要启用kni功能,直接在dpdk配置中添加

    kni count
    

    即可,其中count是要支持kni的网口个数。kni网口个数依赖于实际的物理网口个数,kni个数无法超过实际物理网口个数。即kni是与物理网口一一对应的。

  • 插件参数

    plugins {
            ## Adjusting the plugin path depending on where the VPP plugins are
            path /path/lib/vpp_plugins
            vat-path /path/lib/vpp_api_test_plugins
    
            plugin default { enable }
            plugin gtpu_plugin.so { disable }
    }
    

    插件配置中需指明vpp_plugins的路径,另外需将原生的gtpu插件禁用。

kni配置和使用

  • 配置

    当启用kni功能时,对于一个物理网口来说,除vpp本身进行数据包处理外,还会在操作系统中虚拟出一个网口,一般命名为vEth0,其中0跟随kni个数增加。

    对于虚拟出来的网口可使用linux下的ifconfig、ethtool工具对其进行配置。可以将其当作正常的物理网口来使用。

  • 查看

    查看kni统计信息,可直接使用vppctl工具。

    vpp# show int
                  Name               Idx    State  MTU (L3/IP4/IP6/MPLS)     Counter          Count
    TenGigabitEthernet0               1      up          1500/0/0/0
    local0                            0     down          0/0/0/0
    ----------------------------------------------------------------------------------------------------
    vEth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9216
            inet 121.168.1.12  netmask 255.255.255.0  broadcast 121.168.1.255
            inet6 fe80::b0c4:a3ff:feba:2ddf  prefixlen 64  scopeid 0x20<link>
            ether b2:c4:a3:ba:2d:df  txqueuelen 1000  (Ethernet)
            RX packets 8  bytes 708 (708.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 16  bytes 1364 (1.3 KB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    vpp# show int addr
    TenGigabitEthernet0 (up):
      L3 192.168.8.25/16
    local0 (dn):
    ----------------------------------------------------------------------------------------------------
    vEth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9216
            inet 121.168.1.12  netmask 255.255.255.0  broadcast 121.168.1.255
            inet6 fe80::b0c4:a3ff:feba:2ddf  prefixlen 64  scopeid 0x20<link>
            ether b2:c4:a3:ba:2d:df  txqueuelen 1000  (Ethernet)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 10  bytes 796 (796.0 B)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
  • 分流

    分流是指需要决定一个报文是该送往kni经内核协议栈处理,还是该送往vpp由用户态协议栈处理。当前默认分流原则为GTPU报文送往用户态协议栈,非GTPU报文送往内核协议栈。因当前无其他分流策略,暂时不支持分流策略配置,均采用默认分流策略。

需要特别注意的是,当前kni和vpp可以配置相同的ip,也可以配置不同的ip。但kni和vpp的网口物理地址必须相同。

VPP学习-startup.conf配置文件 VPP(Vector Packet Processing,矢量报文处理),作为一个开源的高性能数据包处理框架,旨在提供可扩展、灵活且高效的网络数据包处理能力;由于传统Linux 内核协议栈整体网络吞吐性能的局限性,目前VPP已被广泛运用于路由器、防火墙等网络设备上,因此,作为网络开发工程师,在熟悉Linux内核协议栈的同时,有必要对VPP用户态协议栈有所了解,了解其实现原理、编码特点,报文处理方式以及通过何种方式实现性能提升,从今天开始希望和大家一起研究学习。 阅读详情

相关推荐

第三节: 串口通信(用CubeMX学习STM32)

用CubeMX学习STM32, 串口通信学习, 通过轮询方式和中断方式两种方式进行通信演示。 STM32F407zgt6

Kevin_8_Lee的博客 8904

dpdk之kni实现

一、为什么要用kni 通常情况下dpdk用于二三层报文转发,接收到来自网卡的报文后,如果是二层报文则查找fdb表; 如果是三层报文,则进行dnat, snat处理后,查找路由表, 将报文转发给下一跳路由。这些二三层转发操作都是直接转发到另一台设备上,不需要经过内核,无需内核协议栈的参与。 然而有些场景下报文是直接发给运行dpdk程序的这台设备本身的。例如ping...

ApeLife技术博客 8664

tree_sitter多语言解析器配置实战指南

本文是一份详细的Tree-sitter多语言解析器配置实战指南。文章从零开始,手把手指导如何搭建Python环境、安装指定版本的tree-sitter库、下载并编译多种语言的语法规则,最终构建一个统一的解析器库。通过实战代码演示了如何初始化解析器、解析代码并遍历语法树,旨在帮助开发者高效处理多语言代码分析任务,并分享了高级技巧与常见问题排坑经验。

weixin_29245767的博客 269

【DPDK】关于x86_64-native-linuxapp-gcc/kmod中找不到rte_kni.ko的解决办法

dpdk安装很久了,其他一切正常,可以正常插入igb_uio.ko模块,examples中的l2fwd和l3fwd都可以正常编译运行。 只是想插入kni内核模块的时候一直报错 在kmod目录下也找了,确实只有一个igb_uio.ko内核模块,没有rte_kni.ko。正常情况下应该是两个内核模块。 因为在搞kni的同时在安装dpdk-pktgen,所以更新了很多东西,不知道这里有没有关系。 ...

weixin_43266488的博客 3967

中兴OLT配置实战:从零开始,手把手教你完成一个HGU的完整业务开通(含DBA模板、限速与远程升级)

本文详细介绍了中兴OLT配置实战,从零开始手把手教你完成HGU的完整业务开通,包括DBA模板设计、限速与远程升级等关键步骤。通过实际案例和详细命令,帮助工程师快速掌握GPON网络配置技巧,提升运维效率。

weixin_30599769的博客 353

电流互感器的使用分析

有关电流互感器使用的注意事项,回头再看,耳目一新。

qq_46757048的博客 2万+

linux内核模块编译和安装--kni module移植的makefile

根据需要需要把依赖dpdk的kni module移植,所以就学习了下模块编译makefile,总结如下 Makefile内容如下 obj-m += rte_kni.o #要生成的module文件名为rte_kni.ko #指定生成module需要的所有.o文件 rte_kni-objs:=kni_misc.o kni_ethtool.o kni_net.o ethtool/ixgbe

u013920085的专栏 3117

学习笔记【Day 20】鸿蒙PC应用在SD WAN MSTP场景用CodeArts test工具测试过程

多生成树协议(MSTP)作为二层网络高可靠、无环路的核心技术,其在鸿蒙 PC 上的兼容性与稳定性测试尤为重要。本文结合华为云 CodeArts TestPlan 全流程测试管理平台,详细拆解鸿蒙 PC 端 MSTP 功能的测试设计、环境搭建、执行验证。1.测试左移,保障迭代效率CodeArts TestPlan 将 MSTP 测试从后期集成阶段 “左移” 至开发早期,通过可复用用例库与自动化脚本,支持每次代码提交后的快速回归测试,避免网络功能稳定性因迭代被破坏。2.平台化工具破解复杂场景测试难题。

aiyijianghe的博客 1062

数据库修仙金丹篇十二——ptp1588v2实现方案

ptp1588v2实现方案

growdu的网络博客 1977

瑞芯微RK3506开发板DSM音频开发避坑指南:从硬件改接到内核配置全流程

本文详细解析了在瑞芯微RK3506开发板上进行DSM音频开发的完整流程与关键避坑点。内容涵盖从硬件改造(如电阻焊接)、内核驱动配置(DTS参数、补丁应用)到系统调试与波形分析的全过程,旨在帮助嵌入式开发者高效实现高信噪比、低成本的音频方案,避免常见错误。

weixin_29164091的博客 412

BEVFusion(mit)最强环境安装,部署复现

BEVFusion作为一项经典的工作,值得深入探索。然而由于配置环境比较麻烦,耽误了一些时间。经过几次成功配置之后,有了一些总结,在这里记录下来,供大家参考避坑,也方便自己下次查阅。

qq_45783225的博客 1万+

FD.IO-VPP研究及使用七(使用TRex测试vpp隧道性能)

硬件:Intel® Atom™ CPU C3758 @ 2.20GHz, 4G内存, 4核,1G网卡 软件:ubuntu16.04, vpp18.10 TRex双向线速发64字节的小包。 测试二层报文 拓扑如下: 待测vpp设备配置: startup.conf cpu { main-core 1 corelist-workers 0,2,3 } vppctl...

weixin_40815457的博客 6128

33、嵌入式系统中的内存操作与实时操作系统

本博客详细探讨了嵌入式系统中的内存操作和实时操作系统(RTOS)的基本原理及应用。内容涵盖C、C++和MicroPython三种语言下的SDRAM读写示例,并结合机器人真空吸尘器的实际应用说明内存的使用场景。此外,还介绍了RTOS的核心概念、组件及其工作机制,包括任务、事件、互斥锁、信号量、队列等,并以FreeRTOS和Mbed OS为例展示了RTOS的配置与使用方法。最后,通过常见问题和实践项目加深对嵌入式系统开发的理解。

zz67890的博客 146

DPDK之KNI原理

DPDK是一个优秀的收发包kit,但它本身并不提供用户态协议栈,因此由将数据报文注入内核协议栈的需求,也就是KNI(Kernel NIC Interface)。作为用户态和内核的接口,其因为没有系统调用和内存拷贝,因此比传统的tun/tap设备要更高效。 借用DPDK文档的一个KNI的结构图。 图1. kni结构图 毫无疑问,KNI必然要也需要内核模块的支持,即rte_kni.ko...

~~ LINUX ~~ 5326

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

dpdk KNI技术详解

在加载kni模块时,可以设置它的内核线程模式::只在内核侧创建一个内核线程,来接收所有kni设备上的数据包,一个线程 vs 所有kni设备:每个kni接口创建一个内核线程,用来接收数据包,一个线程 vs 一个kni设备dpdk在加载kni模块时,默认是采用的single模式,同时还可以为此内核线程设置cpu亲和性。

china718419198的博客 2006

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VPP /什么是VPP?读这篇文章就够了

目录 介绍 为什么称为向量处理? 用例示例:VPP作为vSwitch / vRouter VPP的主要特征 绩效期望 介绍 VPP平台是一个可扩展的框架,可提供开箱即用的生产质量交换机/路由器功能。它是思科矢量数据包处理(VPP)技术的开源版本:一种高性能的数据包处理堆栈,可以在商用CPU上运行。 实施VPP的好处在于其高性能,经过验证的技术,其模块化和灵活性以及丰富的功能集。 VPP技术基于久经考验的技术,已帮助交付了超过10亿美元的思科产品。这是一个模块化设计。该框架允许任何人“插入”

RToax 3万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

数据接收全流程图(物理网卡 → 应用层)

+------------------+ Socket API +------------------+ 系统调用 +-----------+ || +------------------+ 协议解析 +------------------+ 路由决策 +-------------+ || +---------------------+ 共享内存 +------------------+ 向量化传递 +--------+ |

blog 1672

深入浅出DPDK KNI核心技术

(免费订阅,永久学习)学习地址:

lingshengxiyou的博客 1367

dpdk kni实现:笔记

通过这个/dev/kni混合设备,可以接收应用层的ioctl消息,按需来创建各种kni设备、删除kni设备、打开kni设备、关闭kni设备、设置mtu、接收ethtool工具的命令操作消息等等。需要注意的是,驱动层创建的两种设备,一个是/dev/kni混合设备, 另一个是kni设备,这两个是不同的设备类型。并为每一个kni设备,分配好发送队列、接收队列、分配队列、释放队列、请求队列、响应队列。需要注意的是,驱动层创建的两种设备,一个是/dev/kni混合设备, 另一个是kni设备,这两个是不同的设备类型。

dangdanding的专栏 1022

dpdk 程序创建 kni 虚拟网络接口失败的问题

问题描述 今天接到了同事的一个反馈,说更新了 dpdk 后 kni 口无法正常创建。怀疑可能是 rte_kni.ko 模块存在问题导致创建失败。

龙瑜的博客 1311

数据库修仙金丹篇八——dpdk之kni使用

dpdk之kni使用 什么是kni Kni(Kernel NIC Interface)内核网卡接口,是DPDK允许用户态和内核态交换报文的解决方案,模拟了一个虚拟的网口,提供dpdk的应用程序和linux内核之间通讯。kni接口允许报文从用户态接收后转发到linu协议栈去。 为什么要弄一个kni接口,虽然dpdk的高速转发性能很出色,但是也有自己的一些缺点,比如没有协议栈就是其中一项缺陷,当然也可能当时设计时就将没有将协议栈考虑进去,毕竟协议栈需要将报文转发处理,可能会使处理报文的能力大大降低。 当k

growdu的网络博客 7740

DPDK内核模块KNI

DPDK Kernel NIC Interface (KNI)接口允许DPDK用户程序访问Linux控制平面。 使用DPDK KNI的有点如下: 相较现存的Linux TUN/TAP接口更快的速度(消除了系统调用以及copy_to_user()/copy_from_user()内存拷贝的消耗) 允许标准Linux网络工具管理DPDK接口,如ethtool, ifconfig 和 tcpdum...

redwingz的博客 6336

dpdk课程学习之练习笔记五(kni理解及测试)

dpdk有关kni的练习: kni模块可以实现把不用dpdk处理的相关协议报文扔给内核处理,并接受返回结果用dpdk接管的网卡进行发送出去。 1:kni概述(内核网卡接口Kernel NIC Interface) dpdk提供了kni模块,实现了dpdk应用程序与内核数据的交互。 dpdk接管网卡数据后,内核其实就无法识别到网卡数据了。 dpdk提供了kni模块,用虚拟网络适配器(模拟了一个网卡),实现了dpdk应用程序和内核网络模块的交互。 所以kni的模块主要就是提供了一个中间虚拟网络适配器,把dpd

yun6853992的博客 3842

VPP环境配置指南

简介 VPP平台是一个可扩展的框架,提供开箱即用的可供生产环境使用的交换机/路由器功能。 它是一种可在x86 cpu上运行的高性能数据包处理堆栈。VPP采用模块化设计, 该框架允许任何人“插入”新的功能节点而无需更改核心/内核代码。 一、VPP编译(开发版本) 系统:ubuntu18.04.1 TLS vpp版本:19.01-rc0 建议使用具有root权限的用户,并将源补全,初始源可能不完...

maylcc的博客 5363

奇葩的性能测试:VPP转发性能和主机配置的关系

和报文数量相关的、和计算相关的,就和CPU性能相关性大一些,CPU主频越高、核数越多,新建会话速率也就越高,能同时处理的报文数量就越多;每个包大小不一样,转发是占用运行内存的,运行内存越大,并发会话数量也就越大,对应的,设备吞吐量也越大、转发容量也越大”。查看PCB作为服务器时,仅有4种实例规格转发性能有所提升,并在16C64G时128字节的转发速率达到最大的1.39 Gbps,而1400字节的转发速率则在规格为4C8G时达到最大的6.84 Gbps,但是提升幅度也仅有2.8 %。我们来简单测试一下。

衡水铁头哥的博客 798

dpdk rte_kni 模块 kni_open 函数 oops 问题分析

问题描述 在适配某平台的时候遇到 kni_open 函数调用的时候内核 oops,oops 的主要信息见下图: 前期得到的输入信息是内核的 config 文件换过,换了之后重新编译测试出现了这个问题,可能是 config 文件影响,排查 config 文件的区别,没有发现怀疑点,只能怼 oops 了! 从 oops 中获取到的关键信息 上述 oops 内容将问题指向如下位置: kni_open 函数 0x16 偏移量处 objdump -d rte_kni.ko 获取到如下信息: 00000000000

龙瑜的博客 806
上一篇: 数据库修化神篇四——简介和设置REPL
下一篇: 数据库修化神篇五——仅支持追加的单表内存数据库
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值