OpenTSDB性能测试

最新推荐文章于 2024-01-10 17:13:54 发布

原创

最新推荐文章于 2024-01-10 17:13:54 发布 · 1.5k 阅读

3 ·

CC 4.0 BY-SA版权

本文详细介绍了OpenTSDB在HBase上的配置及性能测试过程。测试环境包括8核16G的服务器，配置了三台RegionServer的HBase集群。在HBase写入性能测试中，达到了约的性能。OpenTSDB写入性能测试分为uid实时分配和预先分配两种场景，预分配场景下性能显著提升。测试发现，批量写入大小在100～300之间时，延迟较低，性能最佳。

1. 测试环境

1.1 HBase配置

8核16G 100G本地SCSI盘
三RegionServer，每个RegionServer分配10G堆内存，LruBlockCache和Memtore内存占比默认分别为0.4，未开启BucketCache

1.2 OpenTSDB配置

在这里插入图片描述
参考[5]，opentsdb的HBase存储模式如上图所示。

tsd.storage.salt.buckets=200
tsd.storage.salt.width=8
tsd.storage.uid.width.metric=8
tsd.storage.uid.width.tagk=8
tsd.storage.uid.width.tagv=8

维度数：2
时间粒度：秒

因此，每个指标的HBase 存储模式：

RowKey大小：52B。计算方式，参考[4][salt]<metric_uid><timestamp><tagk1><tagv1>[...<tagkN><tagvN>]，8 + 8 + 4 + 8*4
Column Qualifier大小：2B
Column数：3600
Column Value大小：1～8B
机器配置：8核16G