hadoop fs -count 返回的是目录树和文件数

最新推荐文章于 2024-05-12 20:29:05 发布

原创最新推荐文章于 2024-05-12 20:29:05 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs

hdfs 专栏收录该内容

4 篇文章

订阅专栏

本文详细解读了hadoopfs-count命令在计算文件和目录数量时的返回值，指出第一个参数是目录数，第二个是文件数，并通过实例说明了如何根据block大小推断文件块分布情况。

文章目录

测试hadoop fs -count 返回前2个数值的意思

测试hadoop fs -count 返回前2个数值的意思

[root@hadoop101 software]# hadoop fs -ls -R  /tmp/test
drwxr-xr-x   - root supergroup          0 2022-03-09 11:11 /tmp/test/software
-rw-r--r--   2 root supergroup  209419991 2022-03-09 11:11 /tmp/test/software/spark-3.2.0-bin-without-hadoop.tgz
[root@hadoop101 software]# hadoop fs -du -h   /tmp/test
199.7 M  /tmp/test/software
[root@hadoop101 software]# hadoop fs -du -h   /tmp/test/*
199.7 M  /tmp/test/software/spark-3.2.0-bin-without-hadoop.tgz
[root@hadoop101 software]# hadoop fs -count   /tmp/test/*
           1            1          209419991 /tmp/test/software
[root@hadoop101 software]# hadoop fs -count   /tmp/test/
           2            1          209419991 /tmp/test
[root@hadoop101 software]#

分析及结论： block的大小是128M，200M的文件，总共有2个block, 返回第二个参数是1，所以代表文件数。
在这里插入图片描述