hbase自带压力测试

slx_2011 slx_2011 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 5.2k累计阅读 5.2k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
原创 最新推荐文章于 2026-03-06 00:09:22 发布 5.2k 阅读 AI 写同款· GEO 优化 ›
YCSB基础知识及HBase性能测试 YCSB是雅虎开源的NoSQL测试工具，本篇以对HBase的测试为例介绍其运行流程。一、准备工作下载安装： YCSB提供编译后的安装文件,只要下载安装包解压就好。 踩过的坑： (1) 目前最新的版本为0.11.0。但是我在使用的过程中使用官网推荐的两种方法均不能正常使用： 直接下载安装包，解压过程中有文件损坏，文件不完整 下载源码包用mvn clean package自编译时，进行到83%之后便 阅读详情


今天使用hbase自带的压力测试，压了一下我们的hbase集群


集群配置：master 8cpu*32G + 3台8cpu*16G

参数配置，修改了zookeeper和hdfs的配置外，其他保持默认


测试方式：

hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation  sequentialRead 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation randomRead 1


测试结果

指标随机读（百万）随机写（百万）顺序读（百万）顺序写（百万）
总耗时（ms）1177926195746665418268124
每秒读写890.195356.821575.823910.79



随后调优后，再压测一下



收录于
hadoop那点事

当前文章被收录于：

hadoop那点事
61 篇文章 0 人学习
订阅专栏 查看详情
标签
#压力测试 #hbase #测试 #集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【大数据测试HBase数据库 — 详细教程（含实例与监控调优）】 HBase 是一种面向列的 NoSQL 数据库，广泛应用于大数据存储和分析场景。在进行 HBase 的大数据测试时，通常涉及以下几个方面：功能测试、性能测试、容错性测试、负载测试以及集群监控和调优等。本文将详细介绍如何进行 HBase 的测试工作，并给出实例及监控调优的实践。 阅读详情

相关推荐

某大数据公司内部Hbase性能测试详细设计文档及用例

某大数据公司内部Hbase性能测试详细设计文档及用例 罗列了Hbase性能测试需要注意的一些参数设置，给出了Hbase测试用例

Hbase数据库压测（针对KV型 hbase，ES，MongoDB）

Hbase数据库压测（针对KV型 hbase，ES，MongoDB）

weixin_47099283的博客 1002

hbase性能测试.docx

hbase性能报告

hbase 压测结果

环境配置:   测试表有 60个 region ,分布在3台机器上 .  24个线程并发执行. 测试数据: 1k 大小 10个字段. 压测结果:  1. 基本上写都很快 20us  2. 读相对比较慢 400us 3. 范围读慢点  18ms , gc 也频繁 tps :  同时读写 160801 tps ;  95%读 tps 109895 ;  95%范围读 11398 单

fei33423的专栏 1100

xxx项目性能测试报告模板

在做系统的过程中会遇到需要对整个系统做测试的情况,包括一些基准测试,容量测试,压力测试等。如何做一份精致的性能报告书,在测试过程中有哪些量化指标...

NDIAurora 6D、5D传感器裸线焊接与烧录 6D传感器型号：10001742；5D传感器型号：610157

NDI Aurora 6D、5D传感器裸线焊接与烧录

yanghong2000719的博客 1201

hbase测试压缩效果报告

测试环境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3 hbase-0.94.2 hive-0.9.0 Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-

分布式应用与服务器架构专栏 8852

手把手拆解固态电池成本：2030年真能比液态电池便宜30%吗？

本文深度解析固态电池成本结构，探讨2030年实现比液态电池便宜30%的可行性路径。通过拆解正极材料、负极材料和固态电解质的成本演变，分析关键技术对降本的影响，并预测产业链协同效应下的成本优化趋势。文章指出，在材料创新、设备国产化和政策支持等多重因素推动下，固态电池有望在2030年实现显著降本目标。

kite3的博客 404

Hbase压力测试

一、自己写Java程序测试hbase单机模式 1.测试数据：插入测试数据的TestTable表结构为一个列族info，一个列data，每行rowkey插入的数据量大小为900个英文字符。 如：value=XXXXXXXXXXXXXXXXJJJJJJJJSSSSSSSSRRRRRRRRFFFFFFFFQQQQQQQQKKKKKKKKQQQQQQQQBBBBBBBBJJJJJJJJDDDDDD

小强签名设计 的博客 1万+

ZEMAX知识点：坐标间断面（coordinate break）

zemax知识点：坐标间断面

weixin_47638568的博客 1万+

Pentaho安装与配置

Pentaho安装与配置前言一、下载二、配置1.JDK环境2.添加mysql-jdbc驱动三、启动 前言 Pentaho Data Integration (PDI):前身是Kettle。Pentaho提供了提取、转换和加载（ETL）功能，该功能使用统一且与最终用户和物联网技术相关且可访问的格式简化了捕获、清理和存储数据的过程。 功能：提供报表的制作、分析、仪表板、数据集成、数据采集、商业智能平台等强大功能。 一、下载 官网地址：http://www.pentaho.com/ 不过已经访问不到了

小太阳DENGJIE的博客 3613

hbase压力测试

hbase自带的压力测试 示例: 顺序写命令: hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5 说明: 命令行创建5个客户端，并且执行持续的写入测试。每个客户端每次写入8000字节, 每个客户端共写入10000行. 命令行将一直显示完成的进度直到打...

2277

VirtualBox虚拟机拖放文件总失败？手把手教你配置双向拖放与共享文件夹（Ubuntu版）

本文详细指导如何在VirtualBox的Ubuntu虚拟机中配置高效的数据交换方案。核心是安装VirtualBox Guest Additions，并在此基础上开启双向拖放与共享粘贴板功能，同时建立稳定的共享文件夹，彻底解决主机与虚拟机间文件传输失败的问题，构建无缝的跨系统工作环境。

weixin_29245767的博客 232

mysql hbase 测试_HBase自带压力测试

今天使用hbase自带的压力测试，压了一下我们的hbase集群，集群配置：master 8cpu*32G + 3台8cpu*16G，参数配置，修改了zookeeper首页 → 数据库技术背景：阅读新闻HBase自带压力测试[日期：2014-02-27]来源：Linux社区作者：slx_2011[字体：]今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*...

weixin_34732602的博客 176

Dify 深度进阶：从入门到精通AI应用构建

《Dify进阶指南：从基础到高阶的AI应用开发技巧》 本文深入探讨Dify平台的高级功能与应用开发技巧。首先强调核心概念的深化，包括提示词工程进阶、知识库高效管理和模型参数优化。重点介绍智能体应用的开发方法，如何让AI具备自主规划与执行能力。同时讲解工作流编排、前端集成等实用技术，并分享应用运营优化、成本控制等实践经验。文章还展望了Dify生态的发展趋势，为开发者提供从基础到进阶的完整学习路径，助力打造更智能高效的AI应用。

同名公众号：dify实验室 1951

修复 Outlook 中缺少的 Microsoft Teams 插件

在 Outlook 中缺少 Microsoft Teams 插件可能会限制您在邮件客户端中直接访问 Microsoft Teams 的功能。在本文中，我将向您介绍一些修复缺少 Microsoft Teams 插件的方法，并提供相应的源代码。如果问题仍然存在，请确保您的 Outlook 和 Microsoft Teams 都是最新版本，并尝试在不同的计算机上进行测试。在实际使用中，请根据您的需求进行适当的修改和调整。如果前面的步骤未能解决问题，您可以尝试重新安装 Microsoft Teams 插件。

CodeWWWCode的博客 5673

hbase oracle 压力测试,HBase自带压力测试

今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*32G + 3台8cpu*16G参数配置，修改了zookeeper和hdfs的配置外，其他保持默认测试方式：hbase org.apache.Hadoop.hbase.PerformanceEvaluation sequentialWrite 1hbase org.apache.hadoop.hbase...

weixin_32508109的博客 297

从原理到落地：监控 SAP OData bgRFC 队列的全景实践指南

摘要（150字） 本文系统讲解SAP Gateway/Backend场景中bgRFC队列的监控方法。内容涵盖：1）监控必要性——确保异步可靠传输，及时识别失败消息；2）两种服务质量（EO/EOIO）对监控策略的影响；3）通过事务码SBGRFCMON和SPRO路径访问监控界面；4）关键授权S_BGRFC的配置要求；5）详细操作指南包括筛选条件和动作选项；6）标准巡检脚本；7）三个典型案例（认证错误、顺序阻塞、调度压力）的诊断与修复方案。全文提供完整的监控方法论和实战指导。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 289

hbase自带的压力测试使用

个人推荐使用：https://github.com/brianfrankcooper/YCSB/ 示例: 顺序写命令: hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5 hbase pe --nomapred --oneCon=true --va...

赵英超的博客 5505

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

Hbase自带压力测试命令

[hadoop@MASTER $ hbase pe org.apache.hadoop.hbase.PerformanceEvaluation <OPTIONS> [-D<property=value>]* <command> <nclients> Options: nomapred Run multiple clients using threads (rather tha

Ghost_war的博客 5359

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

hbase压测

hbase压测，通过自带集成的工具PerformanceEvaluation的全名org.apache.hadoop.hbase.PerformanceEvaluation，可以在有命令行都服务上hbase pe执行 参考链接：HBase——PerformanceEvaluation（压测工具） - 曹伟雄 - 博客园 随机写压测 hbase pe --table=randomwriteTest --nomapred --oneCon=true --valueSize=100 --c.

mnasd的博客 1039

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

hbase异常处理之ERROR security.UserGroupInformation

hbase版本： hbase-0.94.6-cdh4.3.2 hadoop版本：cdh4.3.2 异常描述： 12/04/10 19:23:15 ERROR security.UserGroupInformation: PriviledgedActionException as:anchauhan (auth:SIMPLE) cause:java.io.IOExcepti

道听途说 1476

Hbase 本地 测试 IDEA

需要本地配置单机版Zookeeper ，hbase  hadoop  我运行时，zookeeper用的 是hbase自带的Zk服务 没开单机版Zookeeper  在hbase的conf文件夹下的hbase-env.cmd文件里面 有如下 true的意思就是使用自带的zk HBASE_MANAGES_ZK=true 1、启动hadoop/sbin/start-dfs.cmd 2、启动hb...

johnnyandcode的博客 3952

HBase的数据压力测试和性能指标

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。 在现实应用中，HBase的性能是关键因素。为了确保HBase在高压力下的稳定性和性能，需要进...

AI天才研究院 1494

HBase的数据压力测试与监控策略

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase适用于大规模数据存储和实时数据访问场景，如日志处理、实时数据分析、实时数据挖掘等。 在HBase中，数据压力测试和监控策略是非常重要的。压力测试可以帮助我们了解...

AI天才研究院 1300

使用 YCSB 和 PE 进行 HBase 性能压力测试

HBase主要性能压力测试有两个，一个是 HBase 自带的 PE，另一个是 YCSB，先简单说一个两者的区别。PE 是 HBase 自带的工具，开箱即用，使用起来非常简单，但是 PE 只能按单个线程统计压测结果，不能汇总整体压测数据，更重要的是，PE 没有 YCSB 的 预设模板（Workload） 功能，测试场景单一，相较而言，YCSB 要强大的多，它的 Workload 功能非常实用，可以模拟更贴近实际使用场景的压力状况。

Laurence的技术博客 3204
上一篇： hbase异常org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hbase.ClockOutOfSyncException): org.a
下一篇： JVM详解之Java垃圾回收机制详解和调优
点赞 0
评论 1
书签 书签 3
slx_2011
slx_2011
博客等级 码龄15年 11粉丝 51原创
+ 关注 专栏目录 订阅专栏
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值