Hadoop之HDFS常用Shell命令

Hadoop之HDFS常用Shell命令

---

1. 启动Hadoop集群

 sbin/start-dfs.sh
 sbin/start-yarn.sh

2. -help：输出这个命令参数

hadoop fs -help rm

3. -ls: 显示目录信息

hadoop fs -ls /

4. -mkdir：在hdfs上创建目录

hadoop fs -mkdir -p /hadoop

5. -moveFromLocal从本地剪切粘贴到hdfs

hadoop fs  -moveFromLocal  ./hh.txt  /hadoop

6. -cat：显示文件内容

hadoop fs -cat /hadoop/hh.txt

7. -tail：显示一个文件的末尾

adoop fs -tail /hadoop/hh.txt

8. -chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop fs  -chmod  666  /hadoop/hh.txt
hadoop fs  -chown  centos:centos  /hadoop/hh.txt

9. -copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal README.txt /

11. -copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /hadoop/hh.txt ./

12. -cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /hadoop/hh.txt /admin/hah.txt

13. -mv：在hdfs目录中移动文件

hadoop fs -mv /hh.txt /admin

14. -get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /hadoop/hh.txt ./

15. -getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/test/* ./hh.txt

16. -put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/test/

17. -rm：删除文件或文件夹

hadoop fs -rm /user/test/jinlian2.txt

18. -rmdir：删除空目录

hadoop fs -rmdir /test

19. -du统计文件夹的大小信息

hadoop fs -du -s -h /user/test

20. -setrep：设置hdfs中文件的副本数量

 hadoop fs -setrep 10 /hadoop/hh.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

---

hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoop fs：使用面最广，可以操作任何文件系统。
hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。