hbase参数设置导致压测出现问题hbase ipc.RpcServer: (responseTooSlow)

原创于 2019-08-20 16:42:38 发布 · 4.1k 阅读

2 ·

CC 4.0 BY-SA版权

Hbase 专栏收录该内容

6 篇文章

订阅专栏

本文分享了HBase集群在批量查询中遇到性能瓶颈的解决经验。通过调整hbase.hstore.blockingStoreFiles参数，从20W+降低至200，有效减少了小文件数量，加速了文件合并，显著提升了查询速度，避免了长时间运行后查询缓慢的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

修改了hbase的配置文件参数：

hbase.hstore.blockingStoreFiles 之前设置为20W+，出现问题：

hbase.hstore.blockingStoreFiles 这个参数跟文件合并有关系，如果设置太大的话，目前集群出现的问题就是批量查询的时候，跑着跑着就出现查询一个要5-8s ，报错：hbase ipc.RpcServer: (responseTooSlow) 等等，应该是查询不到，可能是小文件太多，没有合并导致的，运行时间越长，出现的几率越多，再次将hbase.hstore.blockingStoreFiles设置为200

<property>
<name>hbase.hregion.majorcompaction</name>
<value>0</value>
</property>
<property>
<name>hbase.hregion.max.filesize</name>
<value>536870912000</value>
</property>
<property>
<name>hbase.hstore.blockingStoreFiles</name>
<value>200</value>
</property>

hbase参数大全，详细看：

https://www.cnblogs.com/nexiyi/p/hbase_config_94.html