简单的DPDK的端口队列速率可视化监视程序

最新推荐文章于 2025-09-12 14:18:06 发布
原创 最新推荐文章于 2025-09-12 14:18:06 发布 · 807 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#云计算 #运维 #linux #网络

本文介绍了一个基于DPDK、telemetry、Flask和Echarts的简单端口队列速率监控程序，实现实时数据获取、计算和图表展示。用户可通过网页或命令行方式查看多端口RX-TX队列的bps和pps数据。

Simple-DPDK-Speed-Monitor

介绍

简单的DPDK的端口队列速率可视化监视程序，通过DPDK-telemetry、flask、echarts实现

软件架构
  1. 通过DPDK提供的遥测接口，获取DPDK端口和队列实时的报文数量和字节数量，利用python perf来获取时间戳，最后计算获取端口和队列的bps以及pps;
  2. 网页通过python flask实现，echarts框架用来渲染生成柱状图；
  3. 可支持多个端口，默认监视16对RX-TX队列，即使没有分配那么多。
使用说明

  1. 网页版本:

    • 安装DPDK并运行DPDK程序
    • pip install flask
    • 进入dpdk-speed/dpdk-speed-app,运行./main.py,用浏览器打开对应网页即可
      请添加图片描述

  2. 命令行版本

    • 安装DPDK并运行DPDK程序
    • 进入dpdk-speed/，运行./dpdk-speed.py

请添加图片描述

  1. 仓库连接

https://gitee.com/markchen7788/simple-dpdk-speed-monitor

MarkChen7788
关注
基于dpdk的用户态协议栈设计实现（二）
weixin_73240939的博客
11-30 1227
接：基于dpdk的用户态协议栈设计实现（一）基于dpdk的用户态协议栈设计实现（一）-优快云博客本文只介绍应用层代码的编写，不会深入开展讲解计算机底层宏大的架构。
DPDK常用工具的使用方法
每天分享一个编程小知识
05-18 1875
在使用DPDK进行收发包时，经常会用到一些配套的工具来进行配置或者测试验证。
intern_project：使用DPDK库监视网络流量
02-13
相依性 DPDK 20.02（推荐最新版本） 要安装 gcc 7.5.0 sqlite3 libsqlite3-dev（Debian机器） libsqlite3x-devel.x86_64（centos，redhat机器） 安装指南 安装最新版本的DPDK 根据建议，请访问并遵循指南 将此仓库克隆到您的计算机中 使用make编译该仓库（GNU make not cmake） 完毕！！！ 使用指南 请研究dpdk参数 有关参数的链接 日志文件格式 目标文件夹 它将存在于您运行会话的相对路径中 存储路径将是这样 PATH_THAT_YOU_CALLED_PROGRAM /数据/源/月/年/日期（当月）/小时（以24小时格式） 如果您对dst感兴趣，只需将src更改为dst 例如，如果您在家中跑步，并且想在中午〜/ data / src / 06-2020 / 09/12看到src
linux 下的带宽、延时、吞吐率、PPS
~~ LINUX ~~
12-15 2657
Linux 网络协议栈是根据 TCP/IP 模型来实现的，TCP/IP 模型由应用层、传输层、网络层和网络接口层，共四层组成，每一层都有各自的职责。 应用程序要发送数据包时，通常是通过 socket 接口，于是就会发生系统调用，把应用层的数据拷贝到内核里的 socket 层，接着由网络协议栈从上到下逐层处理后，最后才会送到网卡发送出去。 而对于接收网络包时，同样也要经过网络协议逐层处理，不过处理的方向与发送数据时是相反的，也就是从下到上的逐层处理，最后才送到应用程序。 网络的速度往往跟用户体验是挂
抽丝剥茧：生产环境中负载均衡产品DPDK问题的解决
weixin_37097605的博客
02-27 443
ULB4是UCloud自主研发的基于DPDK的高可用四层负载均衡产品，转发能力接近线速；DPDK则是一个高性能的开源数据面开发套件。ULB4作为用户应用的全局入口，在大流...
dpdk查看端口统计信息_信息安全设备简介之二——准入系统
weixin_32760485的博客
12-08 798
上一期飞哥介绍了信息安全设备中的运维审计系统(堡垒机)，今天要为大家介绍的是“准入系统”。我们使用的各种信息系统一般都是通过网络相互连接的，我们使用的互联网是广域网，大家都知道一般要有宽带的账号和密码，上网的之前用宽带运营商提供的账号密码登录通过认证以后，才能连上互联网，享受各种信息服务。同样的道理，在企业内部的园区网络，重要的业务系统和各个部门的工作站之间也是通过网络相连，一般来讲根据园区规模大...
DPDK trace 的简单使用
大草的博客
01-18 1469
DPDK trace 的简单使用
rocketMQ可视化插件-------
06-10
总之，RocketMQ可视化插件是管理和维护RocketMQ集群的重要工具，它通过友好的图形界面使得RocketMQ的运维工作变得更加简单和高效。合理利用这个插件，能够帮助我们更好地管理和优化我们的消息队列服务。
rocketmq-dashboard可视化界面管理工具
12-26
RocketMQ-Dashboard是一款专为Apache RocketMQ设计的可视化管理工具，它允许用户通过Web界面来监控、管理和操作RocketMQ集群，极大地简化了RocketMQ的日常运维工作。在本资源中，您将找到一个可以直接启动的jar包，...
kafka manager可视化管理工具
08-15
**Kafka Manager可视化管理工具详解** Kafka Manager是一款基于Java开发的开源工具，专为Apache Kafka设计，旨在提供一个直观的界面，以便于管理和监控Kafka集群。它由Yahoo!开源，对于Kafka管理员和开发者来说，是...
Redis可视化工具Redis Desktop Manager安装包
08-04
它被广泛应用于缓存、消息队列、主从复制等多种场景，以其高速读写能力和丰富的数据结构而受到青睐。Redis Desktop Manager就是针对这种需求而开发的，旨在提供一个方便的桌面应用程序来管理Redis实例。 安装Redis ...
47、磁盘性能可视化、实验与调优全解析
最新发布
l3m4n的博客
09-12 35
本文全面解析了磁盘性能的可视化、实验与调优方法。介绍了延迟散点图、延迟热图、偏移热图和利用率热图四种可视化技术，帮助识别I/O延迟异常、工作负载模式及热点磁盘。通过dd、ioping、fio等工具进行磁盘性能测试，并提供自定义负载生成与重放方案。深入探讨了操作系统、磁盘设备及控制器层面的调优策略，包括ionice、cgroups、hdparm和MegaCli等工具的使用。最后给出了USE方法、工作负载特征分析及实际案例解读，助力系统管理员全面掌握磁盘性能优化技能。
DPDK 简易应用开发之路 6：流规则配置与多队列数据包处理
一枚菜鸡
11-04 1685
本机环境为 Ubuntu20.04 ，dpdk-stable-20.11.10。
dpdk22.03.0原理分析
u013860464的博客
03-25 1484
原理分析 内核配置 需要用户态的glibc库，内核的 HUGETLBFS：提高性能，大页放到tlb更少机会失效，因为数量少。大内存页也可以挂到文件系统使用。 PROC_PAGE_MONITOR ：进程内存页监控 HPET 和HPET_MMAP：开启高精度定时器，并允许映射到用户空间 VFIO 依赖IOMMU的保护，大内存页的映射。如果没有IOMMU，就需要uio，uio不安全并且需要root权限。 EAL 环境抽象层：dpdk加载和运行，支持多进程多线程，core亲和性程序，系统内存分配释放，原子和锁的操作
dpdk-19.11 支持接口配置速率双工的方法
龙瑜的博客
05-15 1593
前言 常见的 igb 电口网卡有支持速率双工配置的需求，在 dpdk-19.11 中却没有配置网卡速率双工的接口，为此需要进行开发，实现方法需要通过研究不同网卡的驱动代码来确定。 本文中以 igb 网卡驱动为例进行描述。 研究 igb 网卡驱动 dpdk-19.11 中的 igb 网卡驱动在执行 eth_igb_start up 接口的时候会配置速率双工。 相关的代码如下： 1349 /* Setup link speed and duplex */ 1350 speeds = &d
DPDK 19.08 正式发布
weixin_37097605的博客
09-11 3543
DPDK 19.08正式发布，让我们一起来看看新版本都有哪些新功能和变化吧！新功能· 在大多数情况下，EAL现在默认选择VA的IOVA模式。以前，默认首选PA的IOVA...
网络监控之三：ifstat、iftop
weixin_34279579的博客
07-10 1296
介绍 ifstat工具是个网络接口监测工具,比较简单看网络流量   ifstat的安装使用： wget http://distfiles.macports.org/ifstat/ifstat-1.1.tar.gztar xzvf ifstat-1.1.tar.gzcd ifstat-1.1./configuremakemake install   实例 默认使用 #ifstat...
dpdk——（一）流量抓取时用到的命令
weixin_42257802的博客
08-09 1473
tcpdump使用 tcpdump -i [网卡名] host [ip地址] and port [端口号] #上方命令只能抓取包 tcpdump -i [网卡名] host [ip地址] and port [端口号] -w [保存路径] 新建终端 curl www.baidu.com MAC地址查看方法 1./etc/sysconfig/network-scripts/ tcprewrite改写包...
DPDK中文-DPDK调试信息
bestboyxie的专栏
12-08 7298
DPDK调试信息分成两种 一种是DPDK的log输出，RTE_PMD_DEBUG_TRACE 类似于这种 通过修改build目录下的.config文件，以获得支持 另外一种就是支持编译的时候带debug信息 这种其实很简单使用find＋sed就可以搞定了 find . -name Makefile |xargs sed -i "s/-O3/-O0 -g/g"
Rabbitmq可视化页面查看队列总消息数量
06-17
<think>我们正在使用RabbitMQ管理界面查看队列的总消息数量。根据引用[1]和引用[2]，我们知道RabbitMQ管理界面提供了队列的详细监控信息。总消息数量由两部分组成：待消费的消息（Ready）和已消费但未确认的消息（Unacked）。因此，总消息数=Ready数量+Unacked数量。在RabbitMQ管理界面中查看队列总消息数的步骤如下：1.登录RabbitMQ管理界面（默认地址：http://localhost:15672，使用安装时设置的用户名和密码登录，如引用[3]中示例的用户名为xiaolin，密码为123456）。2.在顶部导航栏点击“Queues”选项卡，进入队列列表页面。3.在队列列表中找到目标队列，可以看到该队列的“Total”列（即总消息数）或者分别查看“Ready”和“Unacked”的数量，然后相加。注意：在RabbitMQ管理界面的队列列表中，通常会直接显示一个“Total”列，该列的值就是队列的总消息数（即Ready+Unacked）。如果没有显示“Total”列，可以点击表格上方的“Columns”按钮，然后勾选“Total”来显示。另外，也可以进入队列的详情页面查看：点击队列名称进入队列详情页面，在“Overview”部分可以看到：-Messagesready:准备被消费的消息数量（Ready）-Messagesunacknowledged:已投递给消费者但尚未确认的消息数量（Unacked）-总消息数=Messagesready+Messagesunacknowledged因此，在管理界面中查看队列总消息数非常直观。引用说明：[^1]提到使用RabbitMQ实现异步消息队列，包括安装配置和代码示例，但这里我们关注的是管理界面的使用。[^2]详细说明了RabbitMQ管理界面的功能，我们可以利用它来查看队列的状态。[^3]提供了使用Docker安装RabbitMQ并启用管理插件的命令，安装后即可访问管理界面。[^4]讨论了消息重回队列，但与我们当前的问题无关。根据以上信息，我们总结如下：在RabbitMQ管理界面查看队列总消息数的步骤：1.访问管理界面（如http://localhost:15672）并登录。2.进入“Queues”选项卡。3.在队列列表中找到目标队列，查看“Total”列（若没有显示，则通过“Columns”按钮添加）。4.或者点击队列名称进入详情页面，将“Messagesready”和“Messagesunacknowledged”相加得到总消息数。示例：队列列表页面中，某一行队列的“Total”列显示为15，则表示该队列当前总共有15条消息（包括待消费和未确认的）。注意：总消息数是一个动态变化的数值，会随着消息的发布和消费而实时变化。相关问题：1.RabbitMQ管理界面中如何查看消息的消费速率？2.如何通过RabbitMQ的HTTPAPI获取队列的总消息数？3.RabbitMQ队列消息堆积的原因有哪些？如何解决？</think>### 在 RabbitMQ 管理界面查看队列总消息数的方法 #### 操作步骤： 1. **登录管理界面** - 访问 `http://<RabbitMQ地址>:15672`（默认端口15672）[^3] - 使用安装时配置的用户名密码登录（如引用[3]中的 `xiaolin/123456`） 2. **导航至队列视图** - 点击顶部菜单栏的 **Queues** 选项卡 3. **查看总消息数** 在队列列表中直接查看 **Total** 列（该列显示队列当前总消息数），包含两部分： - **Ready**：待消费消息数量（蓝色数字） - **Unacked**：已消费未确认消息数量（橙色数字） - **总消息数 = Ready + Unacked** ![队列总消息数示意图](https://rabbitmq.com/img/screenshots/queue-metrics.png) 4. **查看详情（可选）** 点击队列名称进入详情页，可看到： ```plaintext Overview └── Messages ├── Ready: 15 ├── Unacked: 3 └── Total: 18 # 这就是队列总消息数 ``` #### 关键说明： 1. **消息状态含义**： - `Ready`：未被任何消费者处理的消息 - `Unacked`：已投递给消费者但未确认完成的消息（可能因消费者崩溃或手动重回队列产生[^4]） - `Total`：反映队列当前真实负载量 2. **数据刷新**： - 管理界面默认每5秒自动刷新一次 - 可点击右上角 **Refresh** 按钮手动刷新 3. **高级监控**： - 当总消息数持续增长时，需检查消费者处理能力[^1] - 可通过消息速率图分析入队/出队趋势[^2] > **实际案例**：某队列显示 `Total: 2,500`（其中 Ready: 2,000, Unacked: 500），表明： > 1. 有500条消息正在处理中（可能需检查确认机制[^4]） > 2. 有2,000条积压消息待消费（需优化消费者或扩容）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值