Hadoop/HDFS CheatSheet-文件文件夹统计相关

最新推荐文章于 2022-04-09 23:56:21 发布

原创最新推荐文章于 2022-04-09 23:56:21 发布 · 248 阅读

0 ·

CC 4.0 BY-SA版权

Linux 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了Hadoop中常用的文件操作命令，包括显示目录文件、查看文件大小、统计文件数量及大小等，适用于Hadoop初学者及日常使用场景。

# 1. 显示当前目录下的文件
hadoop fs -ls hdfs_path
hdfs dfs -ls hdfs_path

# 2. 显示当前目录下所有文件的大小，以human readable形式显示（K，M，G）
hadoop fs -du -h hdfs_path
hdfs dfs -du -h hdfs_path

# 3. 显示当前文件夹的文件夹、文件数量（返回文件夹数量，文件数量，总大小，输入路径）
hadoop fs -count hdfs_path
hdfs dfs -count hdfs_path

# 4. 以human readable形式返回文件夹大小
hadoop fs -dus -h hdfs_path