大数据 HDFS的shell操作

常用HDFS的基础操作

启动Hadoop集群

创建目录

创建单层目录

执行命令：hdfs dfs -mkdir /ied

利用Hadoop WebUI查看创建的目录

创建多层目录

执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在

当然，可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数
执行命令：hdfs dfs -mkdir -p /luzhou/lzy

利用Hadoop WebUI查看创建的多层目录

查看目录

执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）


执行命令：hdfs dfs -ls /luzhou

如果我们要查看根目录里全部的资源，那么要用到地柜参数-R（必须大写）

执行命令：hdfs dfs -ls -R /，递归查看/目录（采用递归算法遍历树结构）

上传本地文件到HDFS

创建test.txt文件，执行命令：echo "hello hadoop world" > test.txt （>：重定向命令）

查看test.txt文件内容

上传test.txt文件到HDFS的/ied目录，执行命令：hdfs dfs -put test.txt /ied

查看是否上传成功

利用Hadoop WebUI界面查看

查看文件内容

执行命令：hdfs dfs -cat /ied/test.txt

下载HDFS文件系统的/ied/test.txt到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt

检查是否下载成功

可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

检查是否下载成功

删除HDFS文件

执行命令：hdfs dfs -rm /ied/test.txt

检查是否删除成功

使用通配符，可以删除满足一定特征的文件

删除HDFS目录

执行命令：hdfs dfs -rmdir /luzhou

提示-rmdir命令删除不了非空目录。
要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）