Hbase各组件功能、HMaster、HRegionServer、HRegion、Hbase和Zookeeper关系、HBase如何恢复宕机前数据 03

最新推荐文章于 2025-06-17 16:05:28 发布

原创最新推荐文章于 2025-06-17 16:05:28 发布 · 3.3k 阅读

CC 4.0 BY-SA版权

文章标签：

15 篇文章

订阅专栏

本文详细剖析了HBase的架构，包括其整体结构、各组件的功能与交互，如HMaster、HRegionServer、HLog等，以及数据存储流程，如MemStore、StoreFile和HFile的运作机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Hbase整体结构

在这里插入图片描述

在这里插入图片描述

hmaster需要与zookeeper保持通信状态，通过zookeeper知道hregionServer的位置及hregionServer的存活状态（zookeeper监控hregionServer的存活），管理集群。

在这里插入图片描述

client写入数据，会先连hmaster，hmaster通过zk中的**-root-和.meta**得知机器的分配状态。找一台空闲的，鲜活的，离得近的hregionServer。
- 如果是重新建表，并分配一块新的hregion和hlog给这个表。
- 如果是往表里面写数据，会通过zk告知hregionServer往哪里写。
client从zk中找到hmaster告知的空闲的、鲜活的、离得近的hregionServer，开始写数据。
数据会先写入到hlog和memStore中
memStore满了后，会flush到一个StoreFile。
storeFile达到一定阀值（比如64M）,触发compact,会合并成一个大的storeFile，同时进行版本合并和数据删除。
多个storeFile合并成一个storeFile，当这个storeFile达到一定阀值（比如256M），会触发split操作，切分为两个storeFile。
split操作相当于把和region切分为两个hregion,旧的hregion下线，新的storeFile分配到这两个hregion中，hmaster又把这两个hregion分配到相应的hregionServer上（有了20G的两个hregion）

HBase如何恢复宕机前数据
在这里插入图片描述

每个hregionServer都有一个HLog。
HLog是一个实现write ahead log的类，用户写入memStore的同时，也会写一份数据到HLog中，HLog文件定期会滚动出新，并删除旧的文件（已经持久化到storeFile中的数据）
当HregionServer宕机后，zookeeper会先监听到，告知hmaster。
hmaster首先处理遗留的HLog文件，将不同hregion的HLog数据拆分，放到对应的HRegion的Hlog数据拆分，放到对应的hregion目录下。
hmaster将失效的hregionServer里面的数据重新分配。
新hregionServer加载就hregion,发现hregion目录下有历史hlog需要处理，会复制HLog中的数据到自己的memStore中，memStore满了Flush到storeFiles。完成数据恢复。

如果喜欢本文章，请用小手点个赞~