查看Hbase指定表所占空间

最新推荐文章于 2024-09-02 09:45:35 发布

在屋顶听歌

最新推荐文章于 2024-09-02 09:45:35 发布

阅读量1.2w

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Bigdata

本文链接：https://blog.youkuaiyun.com/u013850277/article/details/81035314

Bigdata 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了一种通过HDFS命令来估算HBase表所占空间的方法，并验证了计算结果是否包含了数据备份的空间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、操作环境

ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9

二、通过Hdfs 命令反推指定表所占空间大小
如查看T_PERSON_N对应的hbase表所占大小

[root@hdp14 ~]# hdfs dfs -du -h /apps/hbase/data/data/default/
215.9 G   /apps/hbase/data/data/default/T_PERSON_N

笔者备份数量为3份，因些该表实际占空间则为 3*215.9G=647.7G
该表4400万，每条数据63个字段，粗略算了下单条数据大概5K，算上备份则15K/条。

如何确定 hdfs dfs -du -h /apps/hbase/data/data/default/ 算出来的所占空间没包含备份的呢？
笔者是通过如下方式确认的：

执行如下命令算出总量

[root@hdp14 ~]# hdfs dfs -du -h /
433.5 M  /app-logs
842.3 G  /apps
87.3 M   /ats
658.2 M  /hdp
0        /mapred
1.2 M    /mr-history
21.5 G   /ranger
188.3 K  /spark-history
41.2 G   /tmp
44.0 M   /user

大概加起来905G，备份系数为3，则共占用空间 905*3/1024 = 2.65T
这时通过Ambari界面查看DFS大概使用了2.7TB，所以可以确定hdfs dfs -du算出来的空间大小是没有包含备份的
Ambari界面结果如下所示：
Disk Usage (DFS Used) 2.7 TB / 7.9 TB (33.68%)