HDFS入门---------命令大全

首先------启动 Hadoop 集群

 sbin/start-dfs.sh
 sbin/start-yarn.sh

其次------处于hadoop的bin目录下面

0.help

命令描述：输出某个命令的参数
使用方法：hadoop fs -help rm
代码示例：./hdfs dfs -help rm

1.ls

命令描述：显示目录信息
使用方法：hadoop fs -ls
代码示例：./hdfs dfs -ls /

2.lsr

命令描述：递归显示指定目录下的所有文件
使用方法：hadoop fs -lsr
代码示例：./hdfs dfs -lsr /

3.mkdir

命令描述：在 hdfs上创建目录
使用方法：hadoop fs -mkdir
代码示例：./hdfs dfs -mkdir -p /user/root

4.-moveFromLocal

命令描述：从本地剪切粘贴到 hdfs
使用方法：hadoop fs -moveFromLocal
代码示例：./hdfs dfs -put /opt/hadoop/test.txt /user/root/

5.-appendToFile

命令描述：追加一个文件到已经存在的文件末尾
使用方法： hadoop fs -appendToFile
代码示例：echo "追加" > append.txt ./hdfs dfs -appendToFile append.txt /user/root/test.txt

6.mv

命令描述：将文件从源路径移动到目标路径
使用方法：hadoop fs -mv URI [URI …]
代码示例：./hdfs dfs -mv /user/root/test.txt /user

7.cat

命令描述：输出文件内容
使用方法：hadoop fs -cat URI [URI …]
代码示例：./hdfs dfs -cat /ddee/cityRain.txt

8.chgrp

命令描述：改变文件的属组
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]
代码示例：./hdfs dfs -chgrp -R root /dde

9.chown

命令描述：改变文件的拥有者
使用方法：hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
代码示例：./hdfs dfs -chmod -R root:root /ddee

10.chmod

命令描述：改变文件的权限
使用方法：hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
代码示例：./hdfs dfs -chmod -R 777 /ddee/test.txt

11.copyFromLocal | put

命令描述：从本地文件系统中拷贝文件到 hdfs 路径
使用方法：hadoop fs -copyFromLocal URI
代码示例：./hdfs dfs -put /opt/hadoop/test.txt /user/

12.copyToLocal | get

命令描述：从hdfs拷贝到本地路径
使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI
代码示例：./hdfs dfs -get /user/root/test.txt /opt/

13.cp

命令描述：将文件从hdfs 的一个路径拷贝到 hdfs 的另一个路径
使用方法：hadoop fs -cp URI [URI …]
代码示例：./hdfs dfs -cp /user/root/file1 /user/root/file2

14.du

命令描述：显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。
使用方法：hadoop fs -du URI [URI …]
代码示例：./hdfs dfs -du -s -h /user/

15.dus

命令描述：显示文件的大小
使用方法：hadoop fs -dus
代码示例：./hdfs dfs -dus /user

16.expunge

命令描述：清空回收站
使用方法：hadoop fs -expunge
代码示例：./hdfs dfs - expunge

17.getmerge

命令描述：命令合并多个文件,方便查看执行结果 假设 /user/root/part-000000,/user/root/part-000001
使用方法：hadoop fs -getmerge [addnl]
代码示例：./hdfs dfs - /user/root/local_file

18.lsr

命令描述：递归显示指定目录下的所有文件
使用方法：hadoop fs -lsr
代码示例：./hdfs dfs -lsr /

19.rm

命令描述：删除指定的文件。只删除非空目录和文件
使用方法：hadoop fs -rm URI [URI …]
代码示例：./hdfs dfs -rm /user/root/test

20.rmr

命令描述：递归删除指定的文件
使用方法：hadoop fs -rmr URI [URI …]
代码示例：./hdfs dfs -rmr /ddee

21.setrep

命令描述：改变一个文件的副本系数。
使用方法：hadoop fs -setrep [-R]
代码示例： ./hdfs dfs -setrep -w 3 -R /user/root/dir

22.stat

命令描述：返回指定路径的统计信息。
使用方法：hadoop fs -stat URI [URI …]
代码示例：./hdfs dfs -stat /user

23.tail

命令描述：将文件尾部的内容输出出来，大小为1k
使用方法：hadoop fs -tail [-f] URI
代码示例：./hdfs dfs -tail /user/root/test.txt

24.test

命令描述：检查文件 -e 检查文件是否存在。如果存在则返回0。-z 检查文件是否是0字节。如果是则返回0。 -d 如果路径是个目录，则返回1，否则返回0。
使用方法：hadoop fs -test -[ezd] URI
代码示例：./hdfs dfs -test /sfsdfs

25.text

命令描述：将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream
使用方法：hadoop fs -text
代码示例：./hdfs dfs -text /user/root/test.txt

26.touchz

命令描述：创建一个0字节的文件
使用方法：hadoop fs -touchz URI [URI …]
代码示例：./hdfs dfs -touchz newfile

声明：本文参考hadoop官网的命令写成，将一些难以理解的环节省略掉或者大白话形式展现,对于一些新手来说十分通俗易懂
Hadoop官网地址