
注意:访问hdfs系统的指令
hadoop dfs --- 已过时
hadoop fs -- 使用范围更大
hdfs dfs --范围相对较小
hadoop fs 和 hdfs dfs之间没有太大的区别
1. 在命令行中输入hdfs,回车后,就会提示hdfs后可以使用哪些命令,其中有一个是dfs。
2. 在命令行中输入hdfs dfs,回车后,就会提示dfs后可以添加的一些常用shell命令
常用shell命令
注意:分布式文件系统的路径在命令行中 要从/开始写,即绝对路径
1. 创建目录
[-mkdir [-p] <path> ...]#在分布式文件系统上创建目录 -p,多层级创建
调用格式:hdfs dfs -mkdir(-p) /目录
2. 上传指令
[-put [-f] [-p] [-l] <localsrc> ... <dst>] #将本地文件系统的文件上传到分布式文件系统
调用格式:hdfs dfs -put/本地文件 /hadoop
注意:
1)/hadoop是hdfs上面的路径的减缩版,全称是:hdfs://namenode的名字:分布式文件系统的端口号/hadoop 例如:hdfs://master:9000/hadoop
2)hadoop作为文件,在操作之前是可以不存在的.
[-moveFromLocal <localsrc> ... <dst>]#将本地文件系统的文件上传到分布式文件系统
调用格式:同put
注意:这里是将本地文件剪切到分布式文件系统
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
调用格式:同put
注意:这里是将本地文件拷贝到分布式文件系统
3. 查看指令
[-ls [-d] [-h] [-R] [<path> ...]]#查看分布式文件系统的目录里内容
调用格式:hdfs dfs -ls/
[-cat [-ignoreCrc] <src> ...] #查看分布式文件系统的文件内容
调用格式:hdfs dfs -cat/xxx.txt
[-tail [-f] <file>]#查看分布式文件系统的文件内容
调用格式:hdfs dfs -tail/xxx.txt
注意:默认最多查看1000行
4. 下载指令
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
调用格式:hdfs dfs -copyToLocal/hdfs上的路径 /本地路径 例如:hdfs dfs -copyToLocal/hadoop /root/hadooptest
注意:
1)本地路径的文件夹可以不存在
2)这里是将hadoop整体拷贝到线下