HBase架构、读写数据流程、MemStore刷写时机、StoreFile Compaction合并、Region Split

HBase 数据存储与管理：架构、读写流程与优化

最新推荐文章于 2024-03-20 15:42:18 发布

原创

最新推荐文章于 2024-03-20 15:42:18 发布 · 709 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hbase

本文详细介绍了HBase的RegionServer架构，包括StoreFile、MemStore、WAL和BlockCache。阐述了数据的写入流程，强调了MemStore的刷写时机，并详细解析了读取流程、StoreFile Compaction和Region Split的策略，旨在理解HBase的数据管理和优化。

RegionServer 架构

在这里插入图片描述
1）StoreFile
保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。
2）MemStore
写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。
3）WAL
由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
4）BlockCache
读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

写流程

在这里插入图片描述
写流程：
1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。
2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。
3）与目标Region Server进行通讯；
4）将数据顺序写入（追加）到WA