hbase自带压力测试

HBase集群压力测试实践与调优
最新推荐文章于 2023-04-02 22:00:36 发布
原创 最新推荐文章于 2023-04-02 22:00:36 发布 · 5.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#压力测试 #hbase #测试 #集群

本文介绍了使用HBase自带的压力测试工具对一个配置为master 8cpu*32G + 3台8cpu*16G的集群进行压测的过程。测试包括顺序写、顺序读、随机写和随机读四个环节，详细记录了测试参数和初步结果，后续将进行调优并再次压测。


今天使用hbase自带的压力测试，压了一下我们的hbase集群


集群配置：master 8cpu*32G + 3台8cpu*16G

参数配置，修改了zookeeper和hdfs的配置外，其他保持默认


测试方式：

hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

hbase org.apache.hadoop.hbase.PerformanceEvaluation  sequentialRead 1

hbase org.apache.hadoop

最低0.47元/天 解锁文章
Hbase命令压力测试
qq_31866793的博客
10-18 386
1，在bin目录下执行命令，随机读写，顺序读写 Master 4g Reginonserver 8g hbase org.apache.hadoop.hbase.PerformanceEvaluation --columns=10 randomRead 1 hbase org.apache.hadoop.hbase.Per...
hbase压测
mnasd的博客
05-12 977
hbase压测，通过自带集成的工具PerformanceEvaluation的全名org.apache.hadoop.hbase.PerformanceEvaluation，可以在有命令行都服务上hbase pe执行 参考链接：HBase——PerformanceEvaluation（压测工具） - 曹伟雄 - 博客园 随机写压测 hbase pe --table=randomwriteTest --nomapred --oneCon=true --valueSize=100 --c.
使用HBase自带工具测试HBase
weixin_34010566的博客
05-25 449
为什么80%的码农都做不了架构师？>>> ...
mysql hbase 测试_HBase自带压力测试
weixin_34732602的博客
01-19 159
今天使用hbase自带的压力测试，压了一下我们的hbase集群，集群配置：master 8cpu*32G + 3台8cpu*16G，参数配置，修改了zookeeper首页 → 数据库技术背景：阅读新闻HBase自带压力测试[日期：2014-02-27]来源：Linux社区作者：slx_2011[字体：]今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*...
Hbase压力测试
小强签名设计 的博客
09-28 1万+
一、自己写Java程序测试hbase单机模式 1.测试数据：插入测试数据的TestTable表结构为一个列族info，一个列data，每行rowkey插入的数据量大小为900个英文字符。 如：value=XXXXXXXXXXXXXXXXJJJJJJJJSSSSSSSSRRRRRRRRFFFFFFFFQQQQQQQQKKKKKKKKQQQQQQQQBBBBBBBBJJJJJJJJDDDDDD
hbase压力测试
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
11-06 2103
hbase自带的压力测试 示例: 顺序写命令: hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5 说明: 命令行创建5个客户端，并且执行持续的写入测试。每个客户端每次写入8000字节, 每个客户端共写入10000行. 命令行将一直显示完成的进度直到打...
YCSB之HBase压力测试.pdf
11-01
创建数据表可以使用HBase自带的命令行工具hbaseshell。然后，通过复制HBase的lib文件和配置文件到YCSB的对应-binding目录，完成环境的准备。 在准备就绪后，便可以加载测试数据并运行压力测试了。加载数据通常通过...
HBase 性能测试之读写P999延时压测实践
Focus on Lakehouse
02-22 2851
我们在使用HBase的时候，必须要能够清楚HBase服务端的性能，这对HBase的合理使用以及性能调优都非常重要，所以一般在使用HBase之前，建议做一些必要的基准性能测试，其中，读写P...
YCSB基础知识及HBase性能测试
热门推荐
Alice
11-11 1万+
YCSB是雅虎开源的NoSQL测试工具，本篇以对HBase的测试为例介绍其运行流程。一、准备工作下载安装： YCSB提供编译后的安装文件,只要下载安装包解压就好。 踩过的坑： (1) 目前最新的版本为0.11.0。但是我在使用的过程中使用官网推荐的两种方法均不能正常使用： 直接下载安装包，解压过程中有文件损坏，文件不完整 下载源码包用mvn clean package自编译时，进行到83%之后便
hbase 压测结果
fei33423的专栏
09-19 1063
环境配置:   测试表有 60个 region ,分布在3台机器上 .  24个线程并发执行. 测试数据: 1k 大小 10个字段. 压测结果:  1. 基本上写都很快 20us  2. 读相对比较慢 400us 3. 范围读慢点  18ms , gc 也频繁 tps :  同时读写 160801 tps ;  95%读 tps 109895 ;  95%范围读 11398 单
hbase性能测试.docx
11-06
hbase性能报告
某大数据公司内部Hbase性能测试详细设计文档及用例
11-29
某大数据公司内部Hbase性能测试详细设计文档及用例 罗列了Hbase性能测试需要注意的一些参数设置，给出了Hbase测试用例
hbase oracle 压力测试,HBase自带压力测试
weixin_32508109的博客
04-14 257
今天使用hbase自带的压力测试，压了一下我们的hbase集群集群配置：master 8cpu*32G + 3台8cpu*16G参数配置，修改了zookeeper和hdfs的配置外，其他保持默认测试方式：hbase org.apache.Hadoop.hbase.PerformanceEvaluation sequentialWrite 1hbase org.apache.hadoop.hbase...
hbase测试压缩效果报告
分布式应用与服务器架构专栏
11-20 8810
测试环境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3 hbase-0.94.2 hive-0.9.0 Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-
Hbase性能测试
07-02 327
之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。 测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodem...
Hbase数据库压测（针对KV型 hbase，ES，MongoDB）
weixin_47099283的博客
11-08 950
Hbase数据库压测（针对KV型 hbase，ES，MongoDB）
hbase性能压测
liyanling的博客
07-15 972
环境准备 工具准备：ycsb 数据准备：usertable 100 个region 并灌入数据。 hbase shell>n_splits=100 hbase shell> create 'usertable',{NAME=>'cf',DATA_BLOCK_ENCODING=>'DIFF',COMP...
【Hadoop】HBase自带性能测试工具
weixin_38776330的博客
08-06 1252
PerformanceEvaluation 该工具是hbase自带的性能压测工具，基本原理是用多线程模拟多用户同时访问集群的情况。 命令为：hbase org.apache.hadoop.hbase.PerformanceEvaluation 可以简写为 hbase pe 直接在linux shell里输入命令，可以看到用法介绍 options：（搭配例子一起学习更好理解） nomapred hbase pe默认使用mapreduce读写扫描数据，如果使用多线程/客户端并发来代替mapreduce
利用多线程批Put方式压测HBase
虎鲸不是鱼
04-02 695
利用多线程批Put方式压测HBase
HBase综合测试
最新发布
04-02
### HBase综合性能测试方法与工具 #### 测试方法概述 为了全面评估HBase的性能表现，通常采用以下几种核心方法： 1. **负载测试** 负载测试通过模拟高并发场景来验证系统的稳定性和响应能力。可以利用YCSB（Yahoo! Cloud Serving Benchmark）作为主要工具[^2]。 2. **压力测试** 压力测试旨在探索系统在极端条件下的行为，例如内存不足或磁盘I/O瓶颈等情况。可以通过监控`top`、`iostat`和网络带宽指标来进行分析[^1]。 3. **功能测试** 功能测试用于确认基本操作（如读取、写入、扫描等）是否正常工作。这包括使用命令行工具执行简单的查询操作，比如`get`和`scan`命令[^3]。 #### 工具介绍 以下是常用的HBase性能测试工具及其特点： 1. **YCSB (Yahoo! Cloud Serving Benchmark)** YCSB是一个广泛使用的开源框架，支持多种NoSQL数据库的基准测试。它允许用户定义不同的工作负载模式，并提供丰富的参数调整选项以适应特定需求。例如，在配置文件中设置`recordcount`表示预加载的数据量大小；而`operationcount`则决定了运行期间的操作次数。 ```bash ./bin/ycsb load hbase -P workloads/workloada > output_load.txt ./bin/ycsb run hbase -P workloads/workloada > output_run.txt ``` 2. **JMeter** Apache JMeter是一款强大的性能测试软件，能够针对HTTP服务以外的应用程序发起请求。对于HBase而言，它可以用来创建自定义插件实现复杂交互逻辑。 3. **Grafana + Prometheus** 这套组合提供了实时可视化界面展示服务器资源消耗情况，便于发现潜在问题所在。结合Prometheus采集到的各项统计数值绘制曲线图供进一步研究参考。 4. **HBase自带Benchmark Tools** 官方还开发了一些专门服务于内部调试目的的小型实用程序，像Bulk Load等功能可以直接嵌入生产环境当中进行效率对比实验。 #### 示例代码片段 下面给出一段基于Python脚本调用REST API接口访问远程HBase实例的例子： ```python import requests def insert_data(host, port, table_name, row_key, data): url = f"http://{host}:{port}/tables/{table_name}/rows" headers = {"Content-Type": "application/json"} payload = {row_key: [{"qualifier": k, "value": v} for k,v in data.items()]} response = requests.post(url=url,json=payload,headers=headers) return response.status_code == 200 if __name__ == "__main__": success = insert_data('localhost',8080,'test_table','rk1',{'col1':'val1'}) print(f"Insertion Success? :{success}") ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值