hadoop查看文件大小(hdfs hive hbase)

最新推荐文章于 2024-08-12 03:09:45 发布

原创最新推荐文章于 2024-08-12 03:09:45 发布 · 7.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #awk

hadoop1 同时被 3 个专栏收录

60 篇文章

订阅专栏

hive

55 篇文章

订阅专栏

hbase

39 篇文章

订阅专栏

本文介绍了如何使用Hadoop命令行工具如hadoop fs -count和hdfs dfs -du来检查HDFS、Hive和HBase中文件及目录的大小。通过这些命令，可以获取到文件夹数、文件数以及具体的存储容量，并且能以人类可读的单位（如G或K）显示大小。此外，还提到了查看特定Hive库和分区表大小的方法。

可以查看 hdfs hive hbase文件存储大小

hadoop fs -count

或者

hdfs dfs -count /51JOB

[root@chinadaas01 ~]# hadoop fs -count /hbase1/zzjg_detail

文件夹数文件数这个目录下的文件bytes

查看文件夹下各个目录的总大小：

hdfs dfs -du -h /user/hive/warehouse/ste_qyjs.db/

能看到这个库下所有表的总大小并以G 或者K 显示

直接看第三个命令：

[bigdata@task1-sandbox tfb]$ hadoop fs -du -s -h /user/hive/warehouse/dev_treasury.db
1.1 T 3.3 T /user/hive/warehouse/dev_treasury.db

查看分区表大小：“

hadoop fs -du /user/hive/warehouse/dev_treasury.db/ods_common_users|awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}'

awk处理完所有输入行之后才处理END模式，上面命令是讲所有分区表和非分区表的大小统计进去以GB显示

”

table.txt就是需要校验的hive表名

#!/bin/sh
source ~/.bashrc


while read line
do
echo "check table $line begin..."

table=$line
echo "当前统计大小的表是（单位GB）: "$table >> result.txt
hadoop fs -du /user/hive/warehouse/treasury.db/$table|awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}' >> result.txt