利用YCSB工具对mongodb进行压测

主流数据库压测工具全解析(从工具选型到实战压测步骤) 本文系统介绍了主流数据库的性能压测方法,涵盖MySQL、PostgreSQL、Oracle、Redis等数据库。首先讲解了压测核心指标(TPS、QPS、响应时间等),然后详细介绍了通用型工具Sysbench和HammerDB的使用方法,包括数据准备、测试执行和结果分析。针对特定数据库,重点讲解了PostgreSQL的pgbench和Oracle的Swingbench工具的具体操作步骤,包括测试环境配置、数据生成和性能指标监控。文章为开发者提供了一套完整的数据库性能评估方案,帮助系统性地掌握不同场景下的压测技 阅读详情

利用YCSB工具对mongodb进行压测

2016年05月26日 19:45:59

阅读数:5203

1. 安装Java

去oracle官网下载jdk-7u15-linux-x64.rpm (直接yum安装的jdk版本貌似有问题)

rpm –ivh jdk-7u15-linux-x64.rpm

2. 安装 Maven

wgethttp://ftp.heanet.ie/mirrors/www.apache.org/dist/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz

sudo tar xzfapache-maven-*-bin.tar.gz -C /usr/local

cd /usr/local

sudo ln -s apache-maven-* maven

sudo vi /etc/profile.d/maven.sh

添加以下两行到maven.sh

export M2_HOME=/usr/local/maven

export PATH=${M2_HOME}/bin:${PATH}

reload,测试maven安装成功

bash

mvn -version

3. 安装YCSB

源码下载地址

https://github.com/brianfrankcooper/YCSB.git

如果要安装所有则

mvn clean package

如果只需要安装mongodb

mvn -pl com.yahoo.ycsb:mongodb-binding -am clean package 

4. 运行 YCSB

查看ycsb的运行参数说明

 

加载数据的模板详细参数说明

 

下面我们编辑一种情况来说明

场景说明:记录数为2000000,操作次数10000000,读写场景为纯读,每个记录为2k(250bytes*8列),并发数量为100,write concern为acknowledged

第一步是启动mongod,并建立测试库为ycsbtest,添加账户和密码均为ycsbtest

第二步是编辑wrokload

Vim  workloads/S1

recordcount=2000000

operationcount=10000000

workload=com.yahoo.ycsb.workloads.CoreWorkload

readproportion=1

updateproportion=0

insertproportion=0

fieldlength=250

fieldcount=8

mongodb.writeConcern=acknowledged

threadcount=100

第三步是load数据

./bin/ycsbload mongodb -s -P workloads/S1 -pmongodb.url=mongodb://ycsbtest:ycsbtest@10.9.79.68/ycsbtest>load_test.txt

查看load的结果

 

第四步是run进行压测

在配置文件里添加上maxexecutiontime=180表示压测180s

./bin/ycsbrun mongodb -s -P workloads/S1 -p mongodb.url=mongodb://ycsbtest:ycsbtest@10.9.79.68/ycsbtest>run_test.txt

压测时最好结合mongostat和iostat一起观察,验证mongostat和ycsb的结果基本保持一致,也好定位性能差的原因

 

查看run的结果

个人分类: NoSQL/MongoDB

格拉姆角场(GAF)实战:用Python实现时间序列图像化处理 本文深入解析了格拉姆角场(GAF)技术,这是一种将一维时间序列转化为二维图像特征的方法,以便利用卷积神经网络(CNN)等图像模型进行深度分析。文章通过Python实战代码,详细演示了GASF和GADF两种核心转换的实现过程,并探讨了其在时序数据分类任务中的应用,为故障预警、金融模式识别等场景提供了强大的图像驱动分析视角。 阅读详情

相关推荐

DEV-C++调试设置

       昨天用C/C++去考了CSP,结果用DEV-C++调试总是闪退,按照我的记忆打开了调试参数,迷迷糊糊搞了一通,还是没办法调试,难受了几个小时。所以今天痛下决心,一定要写下DEV-C++设置调试的过程,警示自己! 解决步骤 1.打开DevC++找到上方工具栏 2.点击选择编译选项,再按下图所示设置即可

懒羊羊的快乐小屋 1029

使用ycsb对mongodb做性能测试

我的专栏地址:我的segmentfault,欢迎浏览 一、ycsb压测工具 1.1ycsb workload ycsb的workloads目录下保存了6种不同的workload类型,代表了不同的压测负载类型,详细的介绍列在下面:workloada:混合了50%的读和50%的写;workloadb:Read mostly workloa...

weixin_33727510的博客 631

卷王问卷考试系统——测试报告

本问卷考试系统是一款在线平台,支持用户发布和完成调查问卷,并进行考试管理,核心功能在于简化问卷创建发布、数据收集及考试组织流程。此次测试将围绕其关键模块展开,涵盖用户注册登录、项目列表、我的练习以及我的题库等核心部分。问卷考试系统(一)硬件环境普通办公电脑(CPU:Intel i5 、内存:16GB 、硬盘:512GB )(二)软件环境操作系统:Windows 11 ;浏览器:Chrome(版本 120+)、Firefox(版本 115+)、Edge(版本 120+)验证界面信息在完整性、一致性、准确性和用

m0_73433755的博客 558

如何使用ycsb工具对mongodb进行性能测试过程

YCSB_对mongodb进行性能测试

qq_41568648的博客 852

手把手教你用Simulink搭建交流异步电机矢量控制模型(附完整仿真文件)

本文提供了一份详细的Simulink仿真指南,手把手教你从零开始搭建交流异步电机矢量控制模型。内容涵盖主电路搭建、坐标变换实现、双闭环PI调节器设计、转子磁链观测器调试等核心步骤,并附有完整的仿真文件,帮助读者跨越理论到实践的鸿沟,掌握高性能电机控制系统的建模与仿真技能。

pz890123的博客 671

FPGA 核脉冲梯形成型 Verilog 实现:从 MATLAB 到 50MHz 采样率部署

本文详细解析了FPGA实现核脉冲梯形成型的完整流程,从MATLAB仿真到50MHz采样率的Verilog硬件部署。重点探讨了梯形成型算法对负指数信号的优化处理,包括定点数量化、流水线架构设计及资源优化技巧,为核辐射探测与高能物理实验提供高效解决方案。

weixin_30920513的博客 392

Linux下MongoDB下载安装配置,测试YCSB测试集

0.下载MongoDB源码并解压 wget https://fastdl.mongodb.org/linux/mongodb-linux-s390x-rhel72-4.2.2.tgz tar -zxf mongodb-linux-x86_64-rhel70-4.2.1 1.安装,自动生成到mongodb目录 cd bin ./install_compass 2.新建编写mo...

github_36652477的博客 487

STM32 超声波模块输入捕获测距(标准库)

通道2设置为下降沿触发,触发瞬间会将CNT的记录到CCR2中,由于上升沿触发时已经将CNT置零所以此时的CNT的值就是高电平的持续时间。通道1设置为上升沿触发,触发的瞬间会将CNT的值记录到CCR1里面,同时设置通道1触发带有从模式,并把从模式设置为置零CNT。超声波传感器模块上面通常有两个超声波元器件,一个用于发射,一个用于接收。电路板上有四个引脚:VCC、GND、Trig(触发)、Echo(回应)。输入捕获原理可以看看这位大佬,感觉写的很清楚,工作电压与电流:5V,15mA。感测角度:不小于15度。

qq_62425900的博客 2083

YCSB压测MongoDB

一.前言 现在有个项目,五年时间会产生一亿条数据,所以领导想知道使用mongodb数据库,一亿条数据量中查询一条数据的响应时间。

shuijiaxiaowei的博客 1931

3DGS实战笔记:从相机坐标系到屏幕像素,手把手推导高斯椭球的投影变换矩阵

本文详细解析了3D高斯散射(3DGS)技术中从相机坐标系到屏幕像素的几何变换过程,重点推导了高斯椭球的投影变换矩阵。通过视图变换、投影变换和视口变换的完整流程,结合雅可比矩阵处理协方差矩阵,实现了高效的三维重建与渲染。文章提供了Python代码示例,帮助开发者深入理解3DGS的核心几何变换机制。

weixin_28691741的博客 441

企业级 Token 中转架构设计:高并发、多模型、费用监控一次搞定

摘要:本文针对企业级AI开发中的多模型接口混乱、高并发稳定性差及Token费用失控等痛点,提出一套2026年企业级Token中转架构解决方案。该方案采用五层分层设计(接入层、网关层、调度层、服务层、存储层),实现多模型统一接口、智能路由、高并发限流容错及精细化成本监控。核心功能包括:异构模型标准化接入、动态路由策略(场景/成本/负载/容灾)、多级限流熔断机制、全链路Token计费与安全防封体系(指纹清洗、IP池隔离)。通过分层解耦与模块化设计,企业可降低50%成本、提升99%稳定性,并避免封号风险。文章还提

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 153

ycsb使用

1.是什么 YCSB(Yahoo! Cloud Serving Benchmark),是雅虎开源的一款通用的性能测试框架。 2.可以做什么 可以测试数据库,或者支持数据库操作的产品性能。 内嵌了一些数据库产品和测试,并支持自定义数据库的测试,测试结果是吞吐量和延迟,可以了解数据库性能。 3.ycsb执行的原理 ycsb的目录: bin目录: 目录下有个可执行的ycsb文件,是个python脚本,是用户操作的命令行接口。ycsb主逻辑是:解析命令行、设置java环境,加载java-libs,封装成可以执行的j

willinux的专栏 3458

使用 Simulink + Simscape Electrical 搭建一个电力系统模型,并通过改变负荷参数来模拟负荷波动

摘要:本文介绍了使用Simulink进行电力系统稳态分析的方法,重点研究负荷波动对系统的影响。通过构建包含同步发电机、变压器、输电线路和负荷模块的三节点系统模型,详细演示了建模过程,包括添加模块、搭建主电路拓扑和设置仿真参数。文章提供了两种负荷波动模拟方法,并分析关键指标如频率稳定性、电压水平和功率平衡。最后给出优化建议如引入储能系统、优化调度策略等,为电力系统规划、运行管理提供实用参考。

amy_mhd的博客 259

记一次使用ycsb工具对mongodb进行性能测试过程

前言 最近在做性能测试,目的是要优化mongodb的性能,要求5w qps,mongodb已经做了分片,三台mongo shard存储,三台mongos 路由,三台configserver,用于记录路由和存储的对应关系。 YCSB简介 ycsb是一款性能测试工具,用Java写的,并且什么都可以压,像是mongodb,redis,mysql,hbase,等等,感觉还是很厉害的。并且是有apache2.0的认证的,官网在github上,有讲如何安装和使用,个人建议放到pod中执行,比较方便。 其中mongodb

u012803274的博客 1708

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

基于YCSB的MongoDB性能压测实践指南

在MongoDB部署到生产环境前,性能压测是验证其承载能力的关键环节。本文将以YCSB(Yahoo! Cloud Serving Benchmark) 为压测工具,详细介绍MongoDB副本集的环境准备、只读压测、读写混合压测流程,以及常见问题的解决方案,为开发者提供可落地的压测实践参考。

专注Java和MySQL领域知识分享 1194

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

MongoDB - MongoDB性能压测:用mongoperf做压力测试的步骤

MongoDB性能压测指南 摘要:本文详细介绍MongoDB性能测试的必要性和方法。通过分析业务需求驱动和系统层面考量,阐述了性能测试对保障用户体验、容量规划和质量保证的重要性。文章对比了多种压测工具,包括已弃用的mongoperf、MongoDB Compass、YCSB等,重点推荐使用YCSB(Yahoo! Cloud Serving Benchmark)进行专业测试。详细讲解了YCSB的安装步骤、MongoDB绑定配置方法,并提供MongoDB副本集启动示例。本文为开发者提供了全面的MongoDB性能

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【mongodb】——YCSB压测mongodb

一、前言 我们做数据库的benchmark主要是想了解数据库在某一个配置下性能究竟怎样,最近在k8s中压测了一下mongodb的性能,因为所做内容都是在公司的业务上,所以测试的代码就不放了。本文的总结是梳理一下YCSB这个测试工具对mongodb的压测。其实在k8s上操作和裸机操作原理都是一样的,只是k8s上操作比裸机部署的操作相当于“加了个壳”,你可以把YCSB封装成docker镜像,通过job来完成你的压测部署。 二、测试工具 测试选取YCSB(Yahoo! Cloud ...

汤庆 1847

Mongodb性能压测

一、背景 这几天对所有的基础组件做一个摸底的基准压力测试,目前我们所有的开源基础组件都没有做过性能测试,经常有开发人员问,我们的RDS、MongoDB集群能抗多大量呀,这个时候我是没办法回复的,因为我自己也不知道,虽然一个数据库集群能抗多大量,在软件、硬件配置固定的情况下,和业务场景有很大的关系,如果数据量小,查询SQL简单那吞吐量自然很高,如果数据量特别大并且都是复杂SQL,那吞吐量自然上不去;...

benerhuo5285的博客 1710

jdk自带压测工具_Mongodb性能压测

一、背景这几天对所有的基础组件做一个摸底的基准压力测试,目前我们所有的开源基础组件都没有做过性能测试,经常有开发人员问,我们的RDS、MongoDB集群能抗多大量呀,这个时候我是没办法回复的,因为我自己也不知道,虽然一个数据库集群能抗多大量,在软件、硬件配置固定的情况下,和业务场景有很大的关系,如果数据量小,查询SQL简单那吞吐量自然很高,如果数据量特别大并且都是复杂SQL,那吞吐量自然上不去;但...

weixin_42521731的博客 372

使用YCSB对Mongodb进行压力测试

1.安装JDK 参考我的原创:https://blog.youkuaiyun.com/yumening77/article/details/95475526 2.安装Maven 参考我的原创:https://blog.youkuaiyun.com/yumening77/article/details/95476095 3.下载并解压 下载地址: https://github.com/brianfrankcoop...

胸毛飘荡的博客 1091

ycsb压测mongodb

ycsb提前已经在workload文件夹下准备好了几个压测场景分别对应workload[a:f]

不积跬步,无以至千里;不积小流,无以成江海。 1003

ycsb压测MongoDB

采用开源社区的ycsb-0.5.0 安装 参考链接: https://github.com/brianfrankcooper/YCSB/tree/master/mongodb?spm=a2c4g.11186623.2.11.53942129onHtz9 说明 bin/ : 为ycsb的执行文件 workloads/: 压测的模板,具体可参考workload_template文件 使用 运行load和run 根据业务场景,配置workload文件 100w ##100% write recor

weixin_43143287的博客 406

java模拟数据库压测_Mongodb 使用YCSB性能压测

一、背景这几天对所有的基础组件做一个摸底的基准压力测试,目前我们所有的开源基础组件都没有做过性能测试,经常有开发人员问,我们的RDS、MongoDB集群能抗多大量呀,这个时候我是没办法回复的,因为我自己也不知道,虽然一个数据库集群能抗多大量,在软件、硬件配置固定的情况下,和业务场景有很大的关系,如果数据量小,查询SQL简单那吞吐量自然很高,如果数据量特别大并且都是复杂SQL,那吞吐量自然上不去;但...

weixin_39917718的博客 222

MongoDB【使用篇】03:MongoDB压测相关

MongoDB压测相关

weixin_40612128的博客 484
上一篇: 编写最佳的Dockerfile的方法
下一篇: 在CentOS 7.2上部署Kubernetes集群
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值