hbase自带压力测试

slx_2011 slx_2011 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 5.2k累计阅读 5.2k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
原创 最新推荐文章于 2026-09-06 14:06:31 发布 5.2k 阅读 AI 写同款· GEO 优化 ›
YCSB基础知识及HBase性能测试 YCSB是雅虎开源的NoSQL测试工具，本篇以对HBase的测试为例介绍其运行流程。一、准备工作下载安装： YCSB提供编译后的安装文件,只要下载安装包解压就好。 踩过的坑： (1) 目前最新的版本为0.11.0。但是我在使用的过程中使用官网推荐的两种方法均不能正常使用： 直接下载安装包，解压过程中有文件损坏，文件不完整 下载源码包用mvn clean package自编译时，进行到83%之后便 阅读详情


今天使用hbase自带的压力测试，压了一下我们的hbase集群


集群配置：master 8cpu*32G + 3台8cpu*16G

参数配置，修改了zookeeper和hdfs的配置外，其他保持默认


测试方式：

hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation  sequentialRead 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation randomRead 1


测试结果

指标随机读（百万）随机写（百万）顺序读（百万）顺序写（百万）
总耗时（ms）1177926195746665418268124
每秒读写890.195356.821575.823910.79



随后调优后，再压测一下



收录于
hadoop那点事

当前文章被收录于：

hadoop那点事
61 篇文章 0 人学习
订阅专栏 查看详情
标签
#压力测试 #hbase #测试 #集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【大数据测试HBase数据库 — 详细教程（含实例与监控调优）】 HBase 是一种面向列的 NoSQL 数据库，广泛应用于大数据存储和分析场景。在进行 HBase 的大数据测试时，通常涉及以下几个方面：功能测试、性能测试、容错性测试、负载测试以及集群监控和调优等。本文将详细介绍如何进行 HBase 的测试工作，并给出实例及监控调优的实践。 阅读详情

相关推荐

hbase性能测试.docx

hbase性能报告

Hbase数据库压测（针对KV型 hbase，ES，MongoDB）

Hbase数据库压测（针对KV型 hbase，ES，MongoDB）

weixin_47099283的博客 1002

某大数据公司内部Hbase性能测试详细设计文档及用例

某大数据公司内部Hbase性能测试详细设计文档及用例 罗列了Hbase性能测试需要注意的一些参数设置，给出了Hbase测试用例

hbase 压测结果

环境配置:   测试表有 60个 region ,分布在3台机器上 .  24个线程并发执行. 测试数据: 1k 大小 10个字段. 压测结果:  1. 基本上写都很快 20us  2. 读相对比较慢 400us 3. 范围读慢点  18ms , gc 也频繁 tps :  同时读写 160801 tps ;  95%读 tps 109895 ;  95%范围读 11398 单

fei33423的专栏 1100

xxx项目性能测试报告模板

在做系统的过程中会遇到需要对整个系统做测试的情况,包括一些基准测试,容量测试,压力测试等。如何做一份精致的性能报告书,在测试过程中有哪些量化指标...

海思Hi3516CV610--SPI NAND Flash移植实战：从手册到驱动的完整适配

本文详细介绍了海思Hi3516CV610芯片上SPI NAND Flash的移植实战，包括从手册解读到驱动适配的完整流程。以GD5F2GM7UEYIGR Flash为例，重点讲解了关键参数确认、模式选择、时序配置以及U-Boot和Linux内核驱动的具体实现步骤，帮助开发者快速完成Flash移植工作。

weixin_29158413的博客 447

hbase测试压缩效果报告

测试环境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3 hbase-0.94.2 hive-0.9.0 Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-

分布式应用与服务器架构专栏 8852

基于Open Cluster Management构建企业级多Kubernetes集群管理平台OpenClaw

在云原生架构中，Kubernetes已成为容器编排的事实标准。随着业务规模扩大，企业往往需要管理分布在多个云环境或数据中心的Kubernetes集群，这带来了集群管理、应用分发、策略统一和监控运维等复杂挑战。多集群管理技术通过提供统一控制平面，实现了对分布式资源的集中管控，其核心价值在于提升运维效率、保障安全合规并降低管理成本。Open Cluster Management（OCM）作为CNCF沙箱项目，采用Kubernetes原生架构，通过自定义资源定义（CRD）和控制器模式，为构建多集群管理平台提供了标

weixin_33747129的博客 368

Hbase压力测试

一、自己写Java程序测试hbase单机模式 1.测试数据：插入测试数据的TestTable表结构为一个列族info，一个列data，每行rowkey插入的数据量大小为900个英文字符。 如：value=XXXXXXXXXXXXXXXXJJJJJJJJSSSSSSSSRRRRRRRRFFFFFFFFQQQQQQQQKKKKKKKKQQQQQQQQBBBBBBBBJJJJJJJJDDDDDD

小强签名设计 的博客 1万+

SPMI、PMBus、AVSBus：三大电源管理总线对比与选型指南

在现代电子系统中，电源管理是确保高性能与低功耗平衡的核心技术。其原理在于通过数字通信协议，实现电源管理单元（PMIC）与用电芯片间的精准“对话”，从而动态调整供电。这项技术的核心价值在于提升系统能效、增强可靠性并简化设计。其应用场景广泛，从智能手机、服务器到汽车电子无处不在。具体实现上，衍生出了三大主流协议：为移动嵌入式高度集成的SPMI总线、专注于工业标准监控的PMBus总线，以及追求极致实时能效的AVSBus总线。理解SPMI在复杂时序控制与PMBus在标准化配置方面的异同，是进行电源架构选型与调试的关

ithome 458

威联通改装飞牛fnOS全攻略：从刷机到Docker影视部署

NAS系统是家庭数字存储的核心，x86架构的威联通设备凭借通用引导和驱动支持，成为改装替代系统的理想平台。飞牛fnOS作为基于Debian的国产NAS系统，以简洁UI、内置Docker和影视墙以及硬件转码能力，吸引了大量玩家。通过U盘引导安装、BIOS调整、系统盘SSD部署，可实现系统切换；原机械硬盘可挂载为存储池，配合Docker部署下载、远程访问等容器，影视中心自动削刮海报墙，硬件转码保障4K播放。改装过程需注意引导失败、硬盘识别、核显驱动等问题。这套方案能让老旧威联通焕发新生，兼顾易用性与扩展性。本文

weixin_33585822的博客 775

hbase压力测试

hbase自带的压力测试 示例: 顺序写命令: hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5 说明: 命令行创建5个客户端，并且执行持续的写入测试。每个客户端每次写入8000字节, 每个客户端共写入10000行. 命令行将一直显示完成的进度直到打...

2277

【QGIS】PyCharm集成pyqgis的processing工具箱：环境配置与初始化实战

本文详细介绍了如何在PyCharm中配置QGIS的Python环境并成功集成其强大的Processing工具箱。文章核心解决了独立环境下导入processing模块失败、算法无法调用等常见难题，通过手动添加插件路径和执行关键初始化步骤，实现了在PyCharm中丝滑调用QGIS地理处理算法，从而将复杂的空间分析流程自动化。

weixin_28831399的博客 391

mysql hbase 测试_HBase自带压力测试

今天使用hbase自带的压力测试，压了一下我们的hbase集群，集群配置：master 8cpu*32G + 3台8cpu*16G，参数配置，修改了zookeeper首页 → 数据库技术背景：阅读新闻HBase自带压力测试[日期：2014-02-27]来源：Linux社区作者：slx_2011[字体：]今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*...

weixin_34732602的博客 176

MLX90640 热成像 STM32

MLX90640 热成像

zhaocundang's blog 5007

23 RAG 为什么答不准：召回、分块、排序的常见坑

RAG 答不准时，不要先怪模型。本文把常见失败拆成召回不到、召回不准、分块不完整、排序靠后、上下文污染和生成不忠实六类，并给出从 Top-K 检查到评估集的排查流程。

老于的笔记的专栏 248

hbase oracle 压力测试,HBase自带压力测试

今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*32G + 3台8cpu*16G参数配置，修改了zookeeper和hdfs的配置外，其他保持默认测试方式：hbase org.apache.Hadoop.hbase.PerformanceEvaluation sequentialWrite 1hbase org.apache.hadoop.hbase...

weixin_32508109的博客 297

全功能爬虫框架：Botasaurus 的详细使用（现代化、反检测、高并发的智能爬虫框架）

Botasaurus是一个基于 Python 的全栈式智能数据采集框架。它深度融合了以下关键技术： 无头浏览器自动化（Headless Browser Automation）：基于 Playwright 或 Puppeteer，支持 Chromium、Firefox、WebKit； 高级反检测引擎（Anti-Detection Engine）：自动绕过 WebDriver、Canvas、AudioContext 等 50+ 种指纹检测； 声明式任务模型（Declarative Task Model）：用装

数据知道的博客 4372

hbase自带的压力测试使用

个人推荐使用：https://github.com/brianfrankcooper/YCSB/ 示例: 顺序写命令: hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5 hbase pe --nomapred --oneCon=true --va...

赵英超的博客 5506

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

Hbase自带压力测试命令

[hadoop@MASTER $ hbase pe org.apache.hadoop.hbase.PerformanceEvaluation <OPTIONS> [-D<property=value>]* <command> <nclients> Options: nomapred Run multiple clients using threads (rather tha

Ghost_war的博客 5359

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

hbase压测

hbase压测，通过自带集成的工具PerformanceEvaluation的全名org.apache.hadoop.hbase.PerformanceEvaluation，可以在有命令行都服务上hbase pe执行 参考链接：HBase——PerformanceEvaluation（压测工具） - 曹伟雄 - 博客园 随机写压测 hbase pe --table=randomwriteTest --nomapred --oneCon=true --valueSize=100 --c.

mnasd的博客 1039

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白

hbase异常处理之ERROR security.UserGroupInformation

hbase版本： hbase-0.94.6-cdh4.3.2 hadoop版本：cdh4.3.2 异常描述： 12/04/10 19:23:15 ERROR security.UserGroupInformation: PriviledgedActionException as:anchauhan (auth:SIMPLE) cause:java.io.IOExcepti

道听途说 1476

Hbase 本地 测试 IDEA

需要本地配置单机版Zookeeper ，hbase  hadoop  我运行时，zookeeper用的 是hbase自带的Zk服务 没开单机版Zookeeper  在hbase的conf文件夹下的hbase-env.cmd文件里面 有如下 true的意思就是使用自带的zk HBASE_MANAGES_ZK=true 1、启动hadoop/sbin/start-dfs.cmd 2、启动hb...

johnnyandcode的博客 3952

HBase的数据压力测试和性能指标

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。 在现实应用中，HBase的性能是关键因素。为了确保HBase在高压力下的稳定性和性能，需要进...

AI天才研究院 1494

HBase的数据压力测试与监控策略

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase适用于大规模数据存储和实时数据访问场景，如日志处理、实时数据分析、实时数据挖掘等。 在HBase中，数据压力测试和监控策略是非常重要的。压力测试可以帮助我们了解...

AI天才研究院 1300

使用 YCSB 和 PE 进行 HBase 性能压力测试

HBase主要性能压力测试有两个，一个是 HBase 自带的 PE，另一个是 YCSB，先简单说一个两者的区别。PE 是 HBase 自带的工具，开箱即用，使用起来非常简单，但是 PE 只能按单个线程统计压测结果，不能汇总整体压测数据，更重要的是，PE 没有 YCSB 的 预设模板（Workload） 功能，测试场景单一，相较而言，YCSB 要强大的多，它的 Workload 功能非常实用，可以模拟更贴近实际使用场景的压力状况。

Laurence的技术博客 3204
上一篇： hbase异常org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hbase.ClockOutOfSyncException): org.a
下一篇： JVM详解之Java垃圾回收机制详解和调优
点赞 0
评论 1
书签 书签 3
slx_2011
slx_2011
博客等级 码龄15年 11粉丝 51原创
+ 关注 专栏目录 订阅专栏
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值