大数据_MapperReduce_Hbase的优化和Hbase相关面试题_以及hbase的javaapi的一部分源码---Hbase工作笔记0029

本文讨论了HBase的内存优化策略,包括避免过度分配Java堆内存以防止长时间GC停顿,调整RPC监听数量,优化HStore文件大小等。还介绍了HBase的flush、compact和split机制,并探讨了region的不均匀分配问题。此外,文章提供了HBase面试题,如内存溢写条件和配置,以及region切分策略。最后,简述了数据倾斜和HBase的删除机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】:170933152

然后我们进一步去看一下,这个hbase相关的一些优化情况.

首先我们去看这个内存优化.

可以看到,table应该可以缓存在内存中,所以hbase会分配百分之70,给java的堆,内存,

但是不建议分配太大的堆内存,给hbase的java堆.

因为我们知道gc,在运行的时候,有个概念叫做,

stop the world 就是停止世界,也就是说,当我们的gc再去回收内存的时候,他对其他进程去,往内存中放东西

是阻塞的,这个时候其他进程就不能在内存中放东西了,这样,如果我们给hbase分配的java堆内存,过多的话,

就会导致,出现gc,处理时间过长,其他进程又不能读写内存,这个时候,其他进程就会阻塞,表现上就是regionServer,

不能用了,导致服务跟停止了似的,这样的现象出现.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值