Region拆分逻辑

最新推荐文章于 2022-10-30 12:49:28 发布

JavaMan_chen

最新推荐文章于 2022-10-30 12:49:28 发布

阅读量7.8k

点赞数 1

分类专栏： hbase HBase源码反编译文章标签： hbase region split

本文链接：https://blog.youkuaiyun.com/JavaMan_chen/article/details/48048315

版权

本文详细介绍了HBase Region的拆分逻辑，包括拆分前提、获取拆分点、执行拆分和回滚操作。拆分由CompactSplitThread线程触发，满足特定条件如Region数量限制、文件数量等。Region拆分策略包括ConstantSizeRegionSplitPolicy、IncreasingToUpperBoundRegionSplitPolicy等。拆分点的获取根据策略不同而变化，如DefaultStoreFileManager会选择最大数据量的StoreFile。执行拆分涉及HMaster和RegionServer，通过Zookeeper协调。若拆分中出现异常，可以通过SplitTransaction进行回滚操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Table of Contents

Region拆分

拆分前提获取拆分点执行拆分回滚操作

Region拆分

Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的，每当执行MemstoreFlush操作时都会调用该方法进行判断，看是否有必要对目标Region进行拆分。

拆分前提

Region可拆分的前提是需要满足如下约束条件：

目标RegionServer的线上Region数没有达到hbase.regionserver.regionSplitLimit参数阀值
该参数的默认值为1000，达到900时RegionServer将会打印警告：Total number of regions is approaching the upper limit。
StoreFile文件数量没有达到hbase.hstore.blockingStoreFiles参数阀值
此时会优先触发整理操作(详细参考Region整理章节)
要拆分的Region不属于meta表格
HBase不支持对meta表格中的Region做拆分操作。
Region没有处于recovering状态(参考Region恢复章节)
由具体的拆分策略来做决定，通过其shouldSplit方法
HBase对外提供了5中拆分策略，全部由RegionSplitPolicy派生而来，5中策略分别为：
- ConstantSizeRegionSplitPolicy
  当Region中某个Store数据量达到hbase.hregion.max.filesize参数阀值时进行拆分
- IncreasingToUpperBoundRegionSplitPolicy
  当Region中某个Store数据量达到sizeToCheck阀值时进行拆分，sizeToCheck是通过如下方法计算得出的，如果RegionServer上含有指定Table的Region数量在(0,100]之间，返回如下公式的值：
  
  min(hbase.hregion.max.filesize, regionCount^3 *

最低0.47元/天解锁文章