hbase异常regionserver宕机

最新推荐文章于 2025-01-12 21:37:36 发布

wfp458113181wfp

最新推荐文章于 2025-01-12 21:37:36 发布

阅读量1.3w

点赞数

本文链接：https://blog.youkuaiyun.com/wfp458113181wfp/article/details/39294619

版权

在使用Cloudera HBase版本时遇到RegionServer异常宕机的问题，表现为直接崩溃且无异常日志，或者20多台节点中偶尔有宕机现象。可能的原因包括compaction和split操作过于频繁，以及HDFS压力导致DataNode超负荷。解决方案包括增大HFile大小到100G，避免major compaction，以及增加DataNode内存和调整RPC线程数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、直接崩溃，无任何异常日志

我们使用cloudera的hbase发行版本安装，一切正常，一旦向hbase写数据，很快就挂掉，没有任何异常日志。

后来，发现cloudera为hbase只分配了50M的内存，很快出现oom，连打印错误日志的内存空间就没有了，直接爆掉。

2、20多台节点，偶尔一两台宕机

晚上9点45:45.455	WARN	org.apache.hadoop.hbase.util.Sleeper	
We slept 44340ms instead of 10000ms, this is likely due to a long garbage collecting pause and it's usually bad, see http://hbase.apache.org/book.html#trouble.rs.runtime.zkexpired
晚上9点45:45.455	WARN	org.apache.hadoop.hbase.util.Sleeper	
We slept 44338ms instead of 10000ms, this is likely due to a long garbage collecting pause and it's usually bad, see http://hbase.apache.org/book.html#trouble.rs.runtime.zkexp