HBase读写缓存

最新推荐文章于 2025-08-29 11:11:05 发布

原创

最新推荐文章于 2025-08-29 11:11:05 发布 · 1.7k 阅读

5 ·

CC 4.0 BY-SA版权

HBase的RegionServer中，memstore负责写缓存，blockcache负责读缓存。BlockCache包括LRUBlockCache、SlabCache和BucketCache三种实现。LRUBlockCache按LRU策略淘汰数据，SlabCache将内存划分为两块，而BucketCache提供heap、offheap和file三种模式。BlockCache的优化策略旨在提高读取效率并减少JVM GC的影响。

读写缓存

HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。
当数据写入HBase时，会先写入memstore，RegionServer会给每个region提供一个memstore，memstore中的数据达到系统设置的阈值后，会触发flush将memstore中的数据刷写到磁盘。
客户的读请求会先到memstore中查数据，若查不到就到blockcache中查，再查不到就会从磁盘上读，并把读入的数据同时放入blockcahce。由于BlockCache采用的是LRU策略，因此BlockCache达到上限heapsize * hfile.block.cache.size * 0.85后，会启动淘汰机制，淘汰掉最老的一批数据。

BlockCache

为了高效获取数据，HBase设置了BlockCache机制，内存中缓存block，Block大体来分为两类，一类是JVM的heap内存，一类是heap off内存；第一类的cache策略叫做LRUCache，第二类Cache策略有SlabCache以及BucketCache两类。BlockCache是Region Server级别的，一个Region Server只有一个Block Cache，在Region Server启动的时候完成Block Cache的初始化工作。到目前为止，HBase先后实现了3种Block Cache方案，LRUBlockCache是最初的实现方案，也是默认的实现方案；HBase 0.92版本实现了第二种方案SlabCache；HBase 0.96之后官方提供了另一种可选方案BucketCache。