黑猴子的家：HBase 之内存优化

最新推荐文章于 2025-05-06 09:54:38 发布

原创最新推荐文章于 2025-05-06 09:54:38 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

HBase 专栏收录该内容

42 篇文章

订阅专栏

本文探讨了HBase操作中的内存需求与配置策略，强调了合理分配Java堆内存的重要性，以避免GC引起的长时间停顿，确保RegionServer稳定运行。推荐的内存设置范围为16到48GB，并提供了具体的HBase内存参数调整示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HBase操作过程中需要大量的内存开销，毕竟Table是可以缓存在内存中的，一般会分配整个可用内存的70%给HBase的Java堆。但是不建议分配非常大的堆内存，因为GC过程持续太久会导致RegionServer处于长期不可用状态，一般16~48G内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

[victor@hadoop102 ~]$ export HBASE_OPTS="$HBASE_OPTS \
-XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=60 \
-XX:+UseParNewGC -XX:ParallelGCThreads=6"

[victor@hadoop102 ~]$ export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE \
-Xmx2000m -Xms2000m -Xmn750m -XX:+UseParNewGC \
-XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70"

[victor@hadoop102 ~]$ export HBASE_REGIONSERVER_OPTS=" \
$HBASE_REGIONSERVER_OPTS $HBASE_JMX_BASE \
-Xmx20000m -Xms20000m -Xmn1000m -XX:+UseParNewGC \
-XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70"