H05-HDFS常用命令

hdfs fs

hdfs dfs -help
hdfs dfs -ls  查看文件列表
hdfs dfs -lsr 递归查看
hdfs dfs -mkdir /user/hadoop 创建目录
hdfs dfs -put a.txt /user/hadoop/ 上传文件
hdfs dfs -get /user/hadoop/a.txt / 下载文件
hdfs dfs -cp src dst 复制文件
hdfs dfs -mv src dst 移动文件
hdfs dfs -cat /user/hadoop/a.txt 查看文件内容
hdfs dfs -rm /user/hadoop/a.txt 删除文件
hdfs dfs -rm -r /user/hadoop/a.txt 删除文件夹
hdfs dfs -text /user/hadoop/a.txt 以文本的方式显示到标准输出
hdfs dfs -copyFromLocal localsrc dst 与hadoop fs -put功能类似
hdfs dfs -moveFromLocal localsrc dst 将本地文件上传到hdfs，同时删除本地文件
hdfs dfs -chmod 777 /test 修改文件权限
hdfs dfs -chown -R Administrator:Administrator /user/  修改文件的所有者
hdfs dfs -checksum /test 获取文件检验码
hdfs dfs -df 查看磁盘使用情况
hdfs dfs touchz /user/test.txt 创建文件
hdfs balancer
# 发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程

hdfs fsadmin

hdfs dfsadmin -help
hdfs dfsadmin -report 状态，显示文件系统的基本数据
hdfs dfsadmin -safemode < enter | leave | get | wait >
# enter：进入安全模式；leave：离开安全模式；
# get：获知是否开启安全模式；wait：等待离开安全模式
hdfs dfsadmin -setBalancerBandwidth 52428800 #设置balancer的带宽，默认是1048576(1MB)

hdfs fsck

hdfs fsck / #查看你hdfs的块的状态
hdfs fsck -delete
hdfs fsck -list-corruptfileblocks # 检测缺失块

hadoop fs 和 hdfs dfs 区别

fs涉及到一个通用的文件系统，使用面最广，可以指向任何的文件系统，如local，hdfs等
但是dfs仅是针对hdfs的，只能操作HDFS文件系统相关，包括与Local FS间的操作
绝大部分都可以使用dfs命令
仅在本地与hadoop分布式文件系统的交互操作中，可以考虑使用fs命令
现在hadoop fs 基本废除了