Hadoop之HDFS命令行操作归纳

Hadoop之HDFS命令行操作归纳

作为一个分布式文件系统，HDFS对外提供了2种访问方式，一种是shell命令，一种是java api接口。当然，2种本质都一样，都是通过配置的hdfs入口进行访问，不过一种包装为shell命令，一种包装为java api的方式。

注意需要先配置好环境变量，这样方便在任意目录下都能调用hdfs的命令

1.文件查看

1.hdfs dfs -ls 路径名（hdfs中的绝对路径）
2. hdfs dfs -cat 文件路径名
3. hdfs dfs -tail 文件路径名
4.hdfs dfs -head 文件路径名
还有其他linux shell命令，可以自行尝试。hadoop的shell命令在设计时，有意识和linux shell命令重叠，包括指令和参数名

2.文件创建

1. hdfs dfs -touch 文件路径名
2. hdfs dfs -mkdir 文件夹路径名

3.文件删除

rm

4.文件写入

1.appendToFile

5.文件移动和内部拷贝

1. hdfs dfs -mv hdfs路径1 hdfs路径2（注意这里可以移动，也可以改名，和linux中的mv指令作用一样）
   2.cp

6.查看文件系统信息

1.hdfs dfs -df 文件路径
2.hdfs dfs -du 文件路径

7.上传和下载

1.hdfs dfs -get hdfs文件路径 linux本地路径（hdfs路径，注意以hdfs://linux100:8020/开头）
copyToLocal
2.hdfs dfs -put linux本地路径 hdfs文件路径
copyFromLocal

8.文件权限操作

1. hdfs dfs -chmod -R 777 hdfs路径ming
2. hdfs dfs -chown
3. hdfs dfs -chgrp

9.查找

1.find

基本上linux shell中命令，都可以在hdfs上做一下尝试，hadoop在这里做了很好的封装，保持了和shell命令的一致性，必须点赞，高度标准化和统一。