HBase压力测试

关于HBase压测,恐怕是一个很常见的问题。主要目的包含内存GC参数优化。

线上实际情况

五个RS。

  • 访问量近似平均分布,总访问量在1600+ QPS
    在这里插入图片描述

  • 内存占用如下
    在这里插入图片描述

  • 硬盘存储如下
    在这里插入图片描述

我们的压测环境

为和线上保持一致,我们也采用5台RS,每台配置16G堆内存的方法。使用版本和其他配置也保持一致。
在这里插入图片描述
5

PE工具压测

写入测试

hbase pe --nomapred --oneCon=true --valueSize=100 --compress=SNAPPY --rows=150000 --autoFlush=true --presplit=64 randomWrite 2
  • –nomapred表示不使用MAPREDUCE框架
  • –oneCon=true 所有线程是否共享连接
  • –valueSize=100 一次写入所写入value的大小
  • –compress 压缩方式
  • –presplit=64 创建预分表(初始情况下将table分为多少个分区)
  • –autoFlush=true client在收到put请求时是否每次都发送到region server
  • –rows=150000 每个线程需要发送的数据量
    每次测试都会删除之前测试创建的测试表。删除表的时间不计入结果

随机写入15条数据(包含创建表预分表的时间,下同)的结果为

2018-10-16 17:32:29,380 INFO  [main] hbase.PerformanceEvaluation: [RandomWriteTest]	Min: 7799ms	Max: 9412ms	Avg: 9000ms

随机写入15W条数据的结果为

2018-10-16 17:18:02,228 INFO  [main] hbase.PerformanceEvaluation: [RandomWriteTest]	Min: 19546ms	Max: 25362ms	Avg: 23128ms

随机写入1500W条数据的结果为

2018-10-16 17:29:50,023 INFO  [main] hbase.PerformanceEvaluation: [RandomWriteTest]	Min: 409269ms	Max: 424063ms	Avg: 417956ms
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值