Hadoop 文件操作常用的命令

hdfs fsck / -files -blocks  列出文件系统中各个文件由哪些块组成 

hadoop fs -ls .             列出hdfs文件的所有文件，不递归目录

hadoop  fs -lsr /

hadoop  fs -ls -R /  (规范写法)  递归查看指定目录下的所有内容

 

hadoop  fs -cp /dir01/1.txt  /dir02 

将HDFS上 / dir01下的1.txt拷贝一份到 / dir02目录下。
目标路径可以有多个，用空格隔开，比如：

hadoopfs -cp /dir01/1.txt  / dir02  / dir03……

hadoop fs -copyFromLocal MaxTemperature.jar \hdfs://localhost/user/root/all/

                           从本地文件系统将一个文件复制到hdfs

hadoopfs -copyToLocal all/MaxTemperature.jar MaxTemperature_hdfs.jar

                           从hdfs将文件复制回本地文件夹

hadoopdistcp file1(dir1) file2(dir2)          复制文件或者目录

hadoopdistcp -update -delete -p dir1 dir2       仅更新变化或没有的文件,-p是保留权限         

hadoop  fs -put /usr/1.txt  /dir             将linux操作系统usr目录下的1.txt放在hdfs的dir目录下

hadoop  fs -get /dir/dir  /home           把hdfs文件系统下的dir目录的文件下载到linux的home目录下 

hadoop fs -rm /dir/filename  删除hdfs 的dir目录的指定文件

hadoop fs -rmdir /dir        删除dir目录，但是前提目录里没有文件

hadoop fs -rm -r /dir        删除dir目录，即使目录里有文件

 

hadoop fs -cat /dir /a.txt     查看dir目录下的a.txt文件

hadoop fs -tail /dir/a.txt      查看dir目录下a.txt文件末尾（1KB）的数据 

hadoop  fs  –mv  /dir02  /dir01   将HDFS上的dir02目录重命名为dir01

hadoop  fs -mv /dir02/1.txt /dir01  将dir02目录下的1.txt移动到/dir01目录下 

hadoop fs -touchz /dir/2.txt   创建一个空文件

hadoop fs -mkdir dirName     在hdfs 的根目录下，创建  dirName目录 

hadoop fsck /dir     显示/dir目录的健康状况

hadoop fsck /dir/1.txt  -files -blocks -locations  -racks

                             查看1.txt 这个文件block信息以及机架信息