HBase底下的存储机制

最新推荐文章于 2025-09-11 16:40:35 发布

转载最新推荐文章于 2025-09-11 16:40:35 发布 · 64 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yaohaitao/p/5389427.html

文章标签：

#大数据 #数据库

本文介绍了HBase中的Split、Flush及Compact机制，并解释了这些机制如何帮助管理HRegion的存储和负载。此外还讨论了HLog的作用以及优化HBase时的重点。

Split机制：可以理解为HDFS上Block一分二的情况。每个Table一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。

非实时，定期触发。

HRegion是Hbase中分布式存储和负载均衡的最小单元，相当于HDFS的Block。

Flush机制：

HStore存储是HBase存储的核心，其中由两部分组成，MemStore和StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会写入MemStore，就返回了，所以写性能很高。当MemStore满了以后会Flush成一个StoreFile。非实时，定期触发。

Compact机制：

当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，合并过程中会对Cell进行版本合并和数据删除。

Put操作=insert + update，每个cell有6个版本。

HLog：HLog的存在模仿Oracle的日志模式。