hbase MemStore避免内存碎片

最新推荐文章于 2022-06-24 17:34:26 发布

最新推荐文章于 2022-06-24 17:34:26 发布 · 318 阅读

文章标签：

#大数据

大数据同时被 2 个专栏收录

49 篇文章

订阅专栏

hbase

22 篇文章

订阅专栏

本文探讨了HBase中采用MemStore-Local Allocation Buffers (MSLAB)机制来解决因CMS垃圾回收导致的内存碎片问题。通过MSLAB机制，可以有效避免Full GC的发生，并详细介绍了该机制的工作原理及其实现方式。

CMS是比较常用的一种gc方法,但是默认情况下CMS不进行compact,因此往往出现内存碎片.
而hbase中由于region数据的非集中分布,更容易导致内存碎片.此时在内存还有很大可用空间的时候,也不能创建对象,导致了stop the world

[img]https://www.cloudera.com/wp-content/uploads/2011/02/frag-drawing.png[/img]
hbase可以使用MSLAB(MemStore-Local Allocation Buffer),使得一个region的对象集中在一起,避免了内存碎片
[url]http://blog.cloudera.com/blog/2011/02/avoiding-full-gcs-in-hbase-with-memstore-local-allocation-buffers-part-1/[/url]
[url]http://blog.cloudera.com/blog/2011/02/avoiding-full-gcs-in-hbase-with-memstore-local-allocation-buffers-part-2/[/url]
[url]http://blog.cloudera.com/blog/2011/03/avoiding-full-gcs-in-hbase-with-memstore-local-allocation-buffers-part-3/[/url]