HDFS命令行语句

一、Hadoop 命令行语句两种方式

Hadoop有两种命令可以用。一种是hdfs命令，一种是hadoop命令，hadoop命令的使用面很广，可以操作任何文件系统，操作需要指定对应文件系统以及路径对于hdfs学习较麻烦，hdfs命令只能操作HDFS文件系统相关。

1、输入hdfs可以查看所有操作选项，一共3种，管理操作admin，客户端操作client，以及进程操作daemon

hdfs

2、输入hadoop可以查看所有操作选项，一共3种，管理操作admin，客户端操作client，以及进程操作daemon

hadoop

3、hdfs中 dfs操作 用于文件系统的命令操作，输入hdfs dfs 可以查看所有文件系统操作命令

hdfs dfs

4、输入hdfs dfs -help 命令名， 可以查看对应命令的详细用法，比如查看命令 ls的具体用法：

hdfs dfs -help ls

二、hdfs dfs 命令行语句

1、-mkdir 创建文件夹

hdfs dfs -mkdir 文件夹名字

2、-ls 列出在指定路径下的内容

hdfs dfs -ls 路径

3、-touch 创建一个空文件，用时间戳记录，如果存在文件并且文件有内容则更新时间戳

hdfs dfs -touch 路径文件名

4、-touchz 创建一个空文件

hdfs dfs -touchz 路径文件名

5、-put 上传文件到hdfs

hdfs dfs -put Linux地址和文件 Hdfs地址

6、-copyFromLocal 上传文件到hdfs

hdfs dfs -copyFromLocal Linux地址和文件 Hdfs地址

7、-copyToLocal 从hdfs下载文件到linux

hdfs dfs -copyToLocal Hdfs地址和文件 Linux地址

8、-moveFromLocal 移动文件到hdfs

hdfs dfs -moveFromLocal Linux地址文件名 Hdfs地址

9、-cat 打印阅读hdfs上的文件内容

hdfs dfs -cat Hdfs地址文件名

10、-tail 输出hdfs上文件最后1K大小的内容

hdfs dfs -tail Hdfs地址文件名

11、-cp hdfs上文件复制

hdfs dfs -cp Hdfs地址文件名 Hdfs另一个地址

12、-rmr 删除hdfs上的递归（recursively）删除非空文件夹,先删除里面的内容再删除文件夹本身
13、-rm 删除hdfs上的删除非空文件或文件夹
14、-rmdir 删除hdfs的删除空文件夹
15、-expunge 清空hdfs的回收站
16、-chmod 更改hdfs上文件权限
17、-get 和 -copyToLocal HDFS下载到Linux
18、-put 和 -copyFromLocal Linux上传到HDFS
19、-cp HDFS内文件复制
20、-moveFromLocal Linux剪切到HDFs
21、-moveToLocal HDFS剪切到Linux
22、-getmerge 将HDFS上的多个文件合并，然后将合并内容放到Linux的一个新文件里
23、-stat 查看文件或文件夹的最后编辑时间
24、-setrep 设置文件或者文件夹的副本数量
25、-distcp 在集群内（intra cluster）或者集群之间（inter cluster）进行文件复制

三、hdfs 其他命令语句

1、查看块大小

hdfs getconf -confKey dfs.blocksize

2、查看文件元数据信息

hdfs fsck hdfs地址文件名 -files

3、查看文件元数据分块信息

hdfs fsck hdfs地址文件名 -files -blocks

4、查看文件元数据分块及分块地址信息

hdfs fsck hdfs地址文件名 -files -blocks -locations

5、查看文件配置文件属性对应数据值

hdfs getconf  -confKey 配置属性名