[Binospace] HBase新特性—Stripe Compaction

最新推荐文章于 2021-08-27 22:30:24 发布

yang_tie_cheng

最新推荐文章于 2021-08-27 22:30:24 发布

阅读量299

点赞数

分类专栏： HBase HBase架构/功能 HBase性能文章标签： HBase Stripe Compaction

本文链接：https://blog.youkuaiyun.com/yang_tie_cheng/article/details/84534508

版权

本文介绍了HBase的Stripe Compaction新特性，旨在解决Region过多带来的问题，提高系统吞吐率和读写效率。Stripe Compaction通过将Region二次切分为Stripe，并分为Level-0和Level-1两层，支持按大小或数量自动切分，优化了Compaction和Split操作。此外，它减少了随机读取时涉及的文件数量，提高了Scan操作效率。Stripe Compaction在保持分层压缩优势的同时，降低了文件个数，增强了RS的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

借鉴于LevelDB、Cassandra的Compaction方法，https://issues.apache.org/jira/browse/HBASE-7667 提出了Stripe Compaction的方法。

Motivation：
1）过多Region会增大RS维护的开销，降低RS的读写性能。随着数据量的增大，在一定程度上增加Region个数，会提高系统的吞吐率。然而，RS上服务的Region个数增多，增加了RS下内存维护的开销，尤其每个Store下都配置有一个MemStore，从而会造成频率更高的Flush操作，影响系统的读写性能。因此，如果能够提出更轻量级的mini-Region，不仅能够降低服务多个Region的开销，而且能够提升读写数据的效率。

2) Region Compaction容易”放大”。例如，Region区间为[1FFF，2FFF）,在该区间内仅有[1FFF，21FF)区间有大量的写操作(put、delete)，但是,在触及MajorCompaction条件时，却需要对所有的文件执行Major Compaction，从而引起大量的IO。

3) Region Split操作代价较大。