1.基本语法
hadoop fs 具体命令
或者
hdfs dfs 具体命令
两者的作用一样,只是书写方式不同,更偏向于使用第一种书写方式。
- 具体命令
3.常用命令
1.-help:输出这个命令的参数
例: hadoop fs -help mkdir
2.上传命令
1)-moveFromLocal:从本地剪贴粘贴到HDFS
例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
hadoop fs -moveFromLocal tmp1.txt /tmp
2)-copyFromLocal:从本地复制到HDFS
例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
hadoop fs -copyFromLocal tmp1.txt /tmp
3)-put:作用和copyFromLocal一样
例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
hadoop fs -put tmp1.txt /tmp
4)-appendToFile:在文件末尾追加一个文件
例:假如当前目录下有 tmp2.txt,HDFS上有tmp目录,且tmp目录下含有tmp1.txt
hadoop fs -appendToFile tmp2.txt /tmp/tmp1.txt
注:moveFromLocal和copyFromLocal不同在于,moveFromLocal以后本地文件不会存在,copyFromLocal以后本地文件依旧存在。
3.下载命令
1)-copyToLocal:将HDFS的文件拷贝到本地
假如HDFS上有tmp目录,且tmp目录下含有tmp1.txt
例: hadoop fs -copyToLocal /tmp/tmp1.txt ./
2)-get:和copyToLocal命令一样(get命令经常使用)
假如HDFS上有tmp目录,且tmp目录下含有tmp1.txt
例: hadoop fs -get /tmp/tmp1.txt ./
4.常用命令
1)-ls:显示目录信息
2)-cat:显示文件内容
3)-chgrp、-chmod、-chown:作用和linux的作用一样,都是修改文件权限
4)-mkdir:创建一个新的文件夹
5)-cp:从HDFS的一个路径拷贝到HDFS的另一个路径
6)-mv:在HDFS目录中移动文件
7)-tail:显示一个文件的末尾1kb的数据
注:这个的命令主要是因为HDFS中的文件不能够修改,只能通过追加的方式去进行操作,也就是文件末尾的数据
一般才是HDFS的最新的数据,就像是log文件一样。
8)-rm:删除文件或文件夹
9)-rm -r:递归删除目录以及目录里面的内容
注:8和9命令在使用的使用尤其要注意,不要让删库跑路的情况发生在你的身上。
10)-du:统计文件夹的大小信息。