HBase(3)：内部机制flush & compact & split

 

2018年11月27日 23:36:48 RayBreslin 阅读数：15

1.实现功能

当向hbase数据库中存储数据的时候，实际存储过程是有三个阶段：flush & compact & split。 

2.分步说明

（1）flush
       Client写入 -> 存入MemStore，一直到MemStore满(Hlog)-> Flush成一个StoreFile存储在HDFS上    
     
（2）compact
       StoreFile，直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile 
     
（3）split
       单个StoreFile大小超过一定阈值后，触发Split操作，把当前Region Split成2个Region
       HMaster分配到相应的HRegionServer上     

3.hbase-default.xml中相关参数

1. Flush:

2. <!--当memstore的大小超过这个值的时候，会flush到磁盘。128M-->

3. <property>

4. <name>hbase.hregion.memstore.flush.size</name>

5. <value>134217728</value>

6. </property>

7. <!--单个regionserver的全部memstore的最大值。超过这个值总容量(Max Heap=983.4 M)*0.4，

8. 一个新的put插入操作会被挂起，强制执行flush操作。 -->

9. <property>

10. <name>hbase.regionserver.global.memstore.upperLimit</name>

11. <value>0.4</value>

12. </property>

13. <!--当强制执行flush操作的时候，当低于这个值的时候，flush会停止。默认是堆大小的 35% . -->

14. <property>

15. <name>hbase.regionserver.global.memstore.lowerLimit</name>

16. <value>0.35</value>

17. </property>

18.  

19. Compact:

20. <!--当一个HStore含有多于这个值的HStoreFiles(每一个memstore flush产生一个HStoreFile)的时候，会执行一个合并操作，把这HStoreFiles写成一个-->

21. <property>

22. <name>hbase.hstore.compactionThreshold</name>

23. <value>3</value>

24. </property>

25. <!--一个Region中的所有HStoreFile的major compactions的时间间隔。默认是1天。-->

26. <property>

27. <name>hbase.hregion.majorcompaction</name>

28. <value>86400000</value>

29. </property>

30.  

31. Split:

32. <!--最大HStoreFile大小。若某个列族的HStoreFile增长达到这个值，这个Hegion会被切割成两个。 默认: 10G.-->

33. <property>

34. <name>hbase.hregion.max.filesize</name>

35. <value>10737418240</value>

36. </property>