hbase目录结构

最新推荐文章于 2021-04-16 10:47:19 发布

原创最新推荐文章于 2021-04-16 10:47:19 发布 · 4.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hbase #java #数据

HBase 专栏收录该内容

4 篇文章

订阅专栏

HBase的目录结构包括WALs和data目录。WALs目录存储regionserver的WAL日志，按hostname首字母命名，old_WALs保存过期日志，并在特定时间由master删除。data目录下，每个表有独立的子目录，包含.tableinfo文件，存储序列化的HTableDescriptor，提供表和column family信息。

hbase的数据保存在hadoop的hdfs中。通过hbase-site.xml配置hbase.rootdir制定在hdfs的路径

目录组成如下图：

WALs目录中保存了hbase的WAL日志文件（Write-ahead-log),每台regionserver的WAL文件保存在以这台服务器hostname为首字母命名的目录中。
old_WALs目录用于存储过期的WAL日志.oldlogs目录下的文件在10分钟后会被master删除（该时间可以由hbase.master.logcleaner.ttl参数设置）。
Master会每隔一分钟（该时间可以由hbase.master.cleaner.interval参数设置）检查这些旧日志文件。
data目录下保存了hbase表数据，在data目录下我们可以看到以表名命名的目录。在表目录下有一个命名为.tableinfo的文件，该文件保存了该表所对应的已经序列化的HTableDescriptor。
HTableDescriptor包含了表和column family模式。除了.tableinfo之外，还有.tmp目录。.tmp目录有很多作用，举例来说，需要在.tableinfo更新过程中被使用。