MapReduce工作笔记——Hadoop shell 常用文件操作命令

最新推荐文章于 2025-06-12 22:30:58 发布

原创最新推荐文章于 2025-06-12 22:30:58 发布 · 2.8k 阅读

CC 4.0 BY-SA版权

文章标签：

12 篇文章

订阅专栏

这篇博客详细介绍了Hadoop Shell中进行文件操作的各种命令，包括ls、put、get、rm、rmr、mkdir、cp、mv、du、text、test和tail，提供了命令的使用方法和示例，是MapReduce工作的重要参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce工作笔记 系列目录：MapReduce工作笔记——目录

hadoop fs [generic options]

列出当前目录下的文件以及文件夹，类似于UNIX/Linux 中的ls，但是hadoop 中没有ll方法。
使用方法：

hadoop fs -ls <args> 
#  <args> 指的是要列出的文件路径

将本地文件上传至HDFS
使用方法：

hadoop fs -put <localsrc>  <dst>

复制HDFS文件到本地文件系统
使用方法：

hadoop fs -get  <src> <localdst>

删除HDFS文件
使用方法：

hadoop fs -rm <dst>

递归删除
使用方法：

hadoop fs -rmr <dst>

创建文件
使用方法：

 hadoop fs -mkdir <paths>

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。
但是如果目标已存在，会报错
使用方法：

hadoop fs -cp <path1> <path2>

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
使用方法：

hadoop fs -mv <path1> <path2>

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。
使用方法：

hadoop fs -du <path>

一般为了更加直观，使用如下命令：

hadoop fs -du -h <path>

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
使用方法：

hadoop fs -text <src>

使用方法：

使用方法：hadoop fs -test -[ezd] <path>

其中可选参数：

-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。 
-d 如果路径是个目录，则返回1，否则返回0。

将文件尾部1K字节的内容输出到stdout。
使用方法：

hadoop fs -tail [-f] URI