HDFS常用操作

1.格式化HDFS
bin/hadoop   namenode  -format

2.启动HDFS
bin/start-dfs.sh

3.关闭HDFS
bin/stop-dfs.sh

4.创建目录
bin/hadoop  fs -mkdir 目录
如：bin/hadoop  fs  -mkdir /user/cai
注意：hadoop的mkdir会自动创建父目录

5.上传文件命令
bin/hadoop  fs -put filename
如：bin/hadoop  fs -put  example.txt  //放入默认的工作目录，等价于bin/hadoop  fs -put  example.txt   /user/cai

6.上传文件到HDFS
上传文件时，文件首先上传复制到DataNode上，只有所有的DataNode都成功接收数据，文件上传才成功。
bin/hadoop   dfs  -put  filename   newfilename(重命名)

7.罗列HDFS上的文件
bin/hadoop  dfs  -ls     //默认返回HDFS的home目录下的文件

8.列出HDFS目录下某一个文档的文件
bin/hadoop   dfs  -ls 文件夹名
如：bin/hadoop  dfs  -ls  input

9.查看HDFS里某一个文件
bin/hadoop  dfs  -cat  filename
如：bin/hadoop   dfs  -cat  input/*       //查看input目录中的内容

10.将HDFS中的文件复制到本地
bin/hadoop   dfs  -get  filename    newfilename    //支持重命名

11.递归删除HDFS下的文档

bin/hadoop  dfs  -rmr  filename

12.改变文件所属组

bin/hadoop  fs  -chgrp  [-R]    GROUP  URI

-R:将改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户。

13.改变文件的权限

bin/hadoop   -chown [-R]  0WNER   URI

14.从本地上传文件

bin/hadoop  fs -copyFromLocal  <localSrc>URI

localSrc必须是本地路径

15.下载文件到本地

bin/hadoop   -copyToLocal  <localDst>URI

localDst必须是本地路径

16.复制文件

bin/hadoop   fs  -cp  srcURI   dstURI

cp:将文件从源路径复制到目标路径，允许有多个源路径，但是只允许有一个目标路径。

17.显示目录中所有文件的大小

bin/hadoop   fs  -du  URI

18.显示文件大小

bin/hadoop   fs  -dus  <args>

19.清空回收站

bin/hadoop  fs   - expunge

20.get命令

bin/hadoop   fs -get  [-ignorecrc]  [-crc]  <src>   <local>

21.移动文件

bin/hadoop    fs   -mv   <srcURI>.....        <dstURI>

将文件从源路径移动到目标路径， 允许有多个源路径，但是只允许有一个目标路径

22.删除文件

bin/hadoop   fs   -rm   URI

23.改变文件副本系数

bin/hadoop    fs   -setrep   <num>  [-R]  <path>

-R表示递归改变目录下所有的文件的副本系数

24.查看统计信息

bin/hadoop    fs  -stat   URI......

25.输出文件尾部内容

bin/hadoop   fs   -tail   URI

-tail:输出文件尾部1KB的内容

26.检查文件

bin/hadoop  fs  -test   -[ezd]    URI
-e:检查文件是否存在，如果存在则返回0

-z:检查文件是否是0字节，是则返回0

-d:检查是不是一个目录

27.将文件输出为文本格式

bin/hadoop    fs   -text  <src>

28.创建空文件

bin/hadoop   fs   -touchz   URI

-touchz:用于创建一个0字节的空文件

参考资料：Hadoop 权威指南     Tom  White 著         周敏奇 等  译   清华大学出版社

                    Hadoop实战              陆嘉恒 著   第二版         机械工业出版社