百度开源,一款强大的压测工具,可模拟几十亿并发场景!

美团如何从0到1构建压测工具 美团内部的RPC服务大多构建在Thrift之上,在日常开发服务的过程中,需要针对这些服务进行压力测试(以下简称压测)来发现潜在问题。常用的方法有:◆使用一些脚本语言如:Python、Ruby等,读取线上日志构建请求,用多线程模拟用户请求进行压测。◆使用开源工具进行压测。然而,无论采取哪种方法,压测都是一个十分耗时而又繁琐的过程,主要痛点有:◆需要写很多代码解析日志,还原请求,对于比较复杂的请求,解析很容易出错。◆需要搭建脚本或者工具的运行环境,通常这一过程比较耗时。◆由于打压方法没有统一,导致打压的结果指标比较混乱,有的结果甚至以终端输出的方式展示,非常不直观。◆对一个应用的打压测试,由于环境 立即下载

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:github.com/baidu/dperf

7ee8bbc54add879c4935de2669c041a9.png


dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。

优点

性能强大:

  • 基于 DPDK,使用一台普通 x86 服务器就可以产生巨大的流量:千万级的 HTTP 每秒新建连接数,数百 Gbps 的带宽,几十亿的并发连接数

统计信息详细:

  • 能够输出详细的统计信息,并且识别每一个丢包

使用场景丰富:

  • 可用于对四层负载均衡等四层网关进行性能压力测试、长稳测试

  • 可用于对云上虚拟机的网络性能进行测试

  • 可用于对网卡性能、CPU 的网络报文处理能力进行测试

  • 压测场景下,可作为高性能的 HTTP Server 或 HTTP Client 单独使用

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

性能

HTTP 每秒新建连接数

Client CoresServer CoresHTTP CPS
112,101,044
224,000,423
447,010,743
6610,027,172

HTTP 吞吐

Client CoresServer CoresRX(Gbps)TX(Gbps)Client CPU Usage(%)Server CPU Usage(%)
1118186059
2235356059
4446464343

HTTP 并发连接数

Client CoresServer CoresCurrent ConnectionsClient CPU Usage(%)Server CPU Usage(%)
11100,000,0003439
22200,000,0003639
44400,000,0004041

UDP TX PPS

Client CoresTX MPPSClient CPU Usage(%)
115.9695
229.9595
434.9267
635.9254
837.1222

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

测试环境配置

dperf 的以上性能数据,基于下面的配置测试得到:

  • 内存: 512GB(大页 100GB)

  • 网卡: Mellanox MT27710 25Gbps * 2

  • 内核: 4.19.90

统计数据

dperf 每秒输出多种统计数据:

  • TPS, CPS, 各种维度的 PPS

  • TCP/Socket/HTTP 级别的错误数

  • 丢包数

  • 按照 TCP Flag 分类的报文重传数

seconds 22                 cpuUsage 52  
pktRx   3,001,058          pktTx    3,001,025          bitsRx   2,272,799,040      bitsTx  1,920,657,600      dropTx  0  
arpRx   0                  arpTx    0                  icmpRx   0                  icmpTx  0                  otherRx 0          badRx 0  
synRx   1,000,345          synTx    1,000,330          finRx    1,000,350          finTx   1,000,350          rstRx   0          rstTx 0  
synRt   0                  finRt    0                  ackRt    0                  pushRt  0                  tcpDrop 0  
skOpen  1,000,330          skClose  1,000,363          skCon    230                skErr   0  
httpGet 1,000,345          http2XX  1,000,350          httpErr  0  
ierrors 0                  oerrors  0                  imissed  0

开始使用

设置大页

#参考如下参数编辑 '/boot/grub2/grub.cfg',然后重启OS  
linux16 /vmlinuz-... nopku transparent_hugepage=never default_hugepagesz=1G hugepagesz=1G hugepages=8

编译 DPDK

#编辑'config/common_base'打开PMD开关  
#Mellanox CX4/CX5 requires 'CONFIG_RTE_LIBRTE_MLX5_PMD=y'  
#HNS3 requires 'CONFIG_RTE_LIBRTE_HNS3_PMD=y'  
#VMXNET3 requires 'CONFIG_RTE_LIBRTE_VMXNET3_PMD=y'  
  
TARGET=x86_64-native-linuxapp-gcc #or arm64-armv8a-linuxapp-gcc  
cd /root/dpdk/dpdk-stable-19.11.10  
make install T=$TARGET -j16

编译 dperf

cd dperf  
make -j8 RTE_SDK=/root/dpdk/dpdk-stable-19.11.10 RTE_TARGET=$TARGET

绑定网卡

#Mellanox网卡跳过此步  
#假设PCI号是0000:1b:00.0  
  
modprobe uio  
modprobe uio_pci_generic  
/root/dpdk/dpdk-stable-19.11.10/usertools/dpdk-devbind.py -b uio_pci_generic 0000:1b:00.0

启动 dperf server

#dperf server监听6.6.241.27:80, 网关是6.6.241.1  
./build/dperf -c test/http/server-cps.conf

从客户端发送请求

#客户端IP必须要在配置文件的'client'范围内  
ping 6.6.241.27  
curl http://6.6.241.27/

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

运行测试

下面的例子运行一个 HTTP CPS 压力测试。在 server 端运行 dperf ./build/dperf -c test/http/server-cps.conf

#以另一台机器作为client端,运行dperf  
./build/dperf -c test/http/client-cps.conf

开源地址

  • https://github.com/baidu/dperf



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

cc1751faa44b12ce80578a5f021bc01d.png

已在知识星球更新源码解析如下:

faa84e147998c62a9a75fa21902cf84c.jpeg

e08933271252d7bad8e88ad2187d8c95.jpeg

987c9d3f0635956d5bd1967a3dea50b6.jpeg

49ae96d8b7eca4e88bb88d5ef11bce80.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
CentOS7安装OpenSSL1.1.1s 阅读详情

相关推荐

【Tableau】解决订阅报表PDF中文显示为乱码(方框)问题

一、问题描述 在tableau server网页端报表中文字符能正常显示,但在订阅后发送到邮箱时,以图片格式呈现的内容中中文字符显示为方框。 网页端报表能正常显示中文字符: 邮件中的报表不能正常显示中文字符: 二、问题分析 网页端字符显示情况是由html编码决定的,而tableau生成图片时是通过所部署的服务器的字体文件显示字体。因此可能是由于Linux服务器缺失相关的字体文件导致网页端选择的中文字体在服务器上缺失对应的字体文件导致的。则考虑在服务器引入对应的字体文件。 三、问题解决 1、查看服务器现有

why_not_study的博客 2833

Github Star 4.6K,3.5M超超轻量中英文OCR模型开源,火了!

1导读如果你是OCR方向的工程师,你一定需要知道这个OCR开源项目:PaddleOCR先看下PaddleOCR自今年开源以来,短短几个月在GitHub上的表现:✦7月,8.6M超轻量模型...

OpenCV中文网 493

机器学习——Anaconda下载安装教程

Anaconda详细下载安装教程

2401_83693485的博客 3067

来自百度的71款开源项目

百度,一家让人既爱又恨的企业,血友吧贴吧被卖,魏则西事件的持续发酵,一时间将百度推到了舆论的风口浪尖上。是非对错,我们在这里也不多做评判,本文呢为大家整理了百度开源的70+项目,看看有没有感兴趣的。本文内容综合整理自oschina、github。 1. JavaScript图表库 ECharts ECharts开源来自百度商业前端数据可视化团队,基于html5 Canvas,是一个纯Ja...

weixin_33755649的博客 2059

从理论到实践:用CST微波工作室完成单站雷达RCS仿真的完整指南

本文提供了一份利用CST微波工作室进行单站雷达RCS仿真的完整实践指南。文章深入剖析了从求解器选择(重点推荐积分方程法)、模型与材料设置、平面波激励定义到后处理分析的完整逻辑链条,旨在帮助工程师不仅完成仿真,更能理解其背后的物理原理与工程考量,从而高效、精准地评估目标的电磁散射特性。

weixin_29256771的博客 180

Visual MODFLOW Flex 6.1新手入门:从数据导入到3D建模的完整工作流解析

本文为Visual MODFLOW Flex 6.1新手提供了从零开始构建地下水数值模型的完整工作流指南。详细解析了从项目规划、数据准备与导入,到构建三维概念模型、生成并运行数值模型,直至结果可视化与校准的核心步骤。帮助水文地质与环工领域初学者快速掌握这一专业软件,高效完成从数据到三维建模的全过程。

a1b2c的博客 801

百度开源,一款强大的压测工具,可模拟几十亿并发场景

dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。

2401_84572204的博客 1045

学Simulink——基于Simulink的Buck-Boost变换器双闭环PI+抗饱和设计建模示例

本文详细介绍了基于Simulink的非反相Buck-Boost变换器双闭环控制设计方法。针对Buck-Boost变换器特有的右半平面零点(RHPZ)和控制挑战,提出了电压-电流双闭环PI控制架构,并集成抗积分饱和机制。通过Simulink建模,实现了主电路、电流内环PI、电压外环PI、PWM及占空比限幅等模块的搭建,验证了在输入电压跌落(20V→10V)和负载突变(2A→4A)等场景下的稳定性能。仿真结果表明,输出电压波动小于0.35V,恢复时间快于1ms,电感电流有效限幅。文章还讨论了工程实践要点和扩展方

xiaoheshang_123的博客 318

百度开源一款压测工具,可模拟几十亿的并发场景,太强悍了!

dperf 是百度开源的一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。

伤心的辣条 481

MySQL 一一 MySQL基本使用

1、数据库 简单来说,所谓的数据库就是存储数据的容器,而且是永久存储的。 2、为什么需要数据库 3、为什么要学习MySQL数据库 最早MySQL数据,瑞典AB公司开发的一款开源型的关系型数据库。 随着时间的推移,瑞典AB公司把MySQL数据库转让给Sun公司(Java语言的创始公司) 后来,Sun公司经营不善,又把MySQL数据库转让给甲骨文公司(Oracle数据库) 4、数

Guizy 7万+

一文速学数模-K-means聚类算法实战:信用卡用户画像聚类分析

该项目算是非常经典的金融业务用户画像的基础分析了,主要根据用户信用卡使用行为数据进行分析,根据收集到的不同字段信息,对每个用户划分类别。这里需要说明一下的是,聚类模型只是将具有相似行为的大部分用户聚集到一个类别里面,这点并不会考虑到每个字段的含义,也就是分成的类别并不是用户价值等级,此类别仅仅是这个类别大体相同的信用卡用户行为对象,并不能给每个用户价值打上标签,那是评价模型做的事,这里要注意不要搞混淆了,用户价值评价是评价模型决定的,而画像是聚类模型分析的。

master_hunter的博客 1万+

Python 性能压测神器 ——Locust:你必须知道的强大工具!

开源性能测试工具https://www.locust.io/,基于Python的性能压测工具,使用Python代码来定义用户行为,模拟百万计的并发用户访问。每个测试用户的行为由您定义,并且通过Web UI实时监控聚集过程。

人生不怕起点低,就怕没追求 1479

UG NX二次开发(C#)-建模-获取圆柱面信息(轴向、半径、深度)

获取圆柱面的信息前言一、在UG NX中面的类型有哪些?二、获取圆柱面信息的函数1.获取半径和轴向2、计算圆柱面的深度值3、测试用例总结 文章目录前言一、在UG NX中面的类型有哪些?二、获取圆柱面信息的函数1.获取半径和轴向2、计算圆柱面的深度值3、测试用例总结 前言 在一个项目中,需要遍历曲面,获得所有的圆柱面和圆柱面的信息,包括轴向、半径和圆柱面的深度。经过研究,采用uFModl.AskFaceData(face.Tag, out faceTypeInt, point, dir, box, out

GimiGimmy 4145

百度又开源一款压测工具,可模拟几十亿的并发场景,太强悍了!

来源:github.com/baidu/dperf优点性能强大统计信息详细使用场景丰富性能HTTP 每秒新建连接数HTTP 吞吐HTTP 并发连接数UDP TX PPS测试环境配置统计数据开始使用设置大页编译 DPDK编译 dperf绑定网卡启动 dperf server从客户端发送请求运行测试开源地址图片dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千...

方志朋的博客 508

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

百度又开源一款压测工具,可模拟几十亿的并发场景,太强悍了

dperf 是百度开源的一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。在 server 端运行 dperf ./build/dperf -c test/http/server-cps.conf。基于 DPDK,使用一台普通 x86 服务器就可以产生巨大的流量:千万级的 HTTP 每秒新建连接数,数百 Gbps 的带宽,几十亿的并发连接数。TCP/Socket/HTTP 级别的错误数。

584

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 让人目瞪口呆的 Java 代码!!
下一篇: Vue+SpringBoot 集成 PageOffice 实现在线编辑Word、excel文档
公众号-芋道源码
博客等级 码龄10年 1631粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值