HBase之写流程与读流程

最新推荐文章于 2024-11-11 20:47:17 发布

原创最新推荐文章于 2024-11-11 20:47:17 发布 · 294 阅读

CC 4.0 BY-SA版权

5 篇文章

订阅专栏

本文深入探讨HBase的存储机制，包括HFile、MemStore和WAL的作用及工作原理，阐述了数据如何从写入缓存到磁盘的过程，以及读取流程中BlockCache、MemStore和StoreFile的交互作用。

基本概念

HFile文件
保存在磁盘的hbase表数据文件, 格式为HFile。数据块为存储单元, 默认认大小64KB。
MemStore
写缓存，由于HFile中的数据要求是有序的，数据是先在MemStore中，排好序后,再刷写到HFile. 每次刷写都会形成一个新的HFile。
WAL
数据会先写WAL(Write-Ahead logfile)日志文件文件中，然后再写入MemStore中。以便在MemStore(内存)中的数据丢失后可以恢复.
每间隔hbase.regionserver.optionallogflushinterval(默认1s)， HBase会把操作从内存写入WAL. 一个RegionServer上的所有Region共享一个WAL实例。

WAL的检查间隔由hbase.regionserver.logroll.period定义，默认值为1小时。检查的内容是把当前WAL中的操作跟实际持久化到HDFS上的操作比较，看哪些操作已经被持久化了，被持久化的操作就会被移动到.oldlogs文件夹内（这个文件夹也是在HDFS上的）。
一个WAL实例包含有多个WAL文件。WAL文件的最大数量通过hbase.regionserver.maxlogs（默认是32）参数来定义。
BlockCache
读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询.

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qa9GTW0V-1587010857120)(file:///E:\Images\markdown\1587008561750.png)]$

Client先访问zookeeper，获取hbase:meta表所在的Region Server, 查询hbase:meta表获取目标Redgion Server. 在将该表的region信息以及meta表的位置信息缓存在客户端的meta cache之后与目标Region Sever进行通讯;
将数据顺序写入（追加）到WAL；
将数据写入对应的MemStore，数据会在MemStore进行排序；
向客户端发送ack, 等达到MemStore的刷写时机后，将数据刷写到HFile。

Client先访问zookeeper，获取hbase:meta表所在的Region Server, 查询hbase:meta表获取目标Redgion Server. 在将该表的region信息以及meta表的位置信息缓存在客户端的meta cache之后与目标Region Sever进行通讯;
分别在Block Cache（读缓存），MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据块进行合并, 之后缓存到Block Cache中。

此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。
将合并后的最终结果返回给客户端。