Hadoop基本命令

Hadoop

1. 查看块信息和文件名： hadoop fsck -blocks -files
2. 查看系统是否处于安全模式： hadoop dfsadmin -safemode get
3. 进入安全模式： hadoop dfsadmin -safemode enter
4. 离开安全模式： hadoop dfsadmin -safemode leave
5. 在执行某个脚本前先退出安全模式：hadoop dfsadmin -safemode wait
6. 负载均衡命令： hadoop balance [-threshold<threshold>]

HDFS Shell命令

1. 查看支持的命令列表： hdfs dfs
2. 列出根目录文件和目录：hdfs dfs -ls /
3. 列出分布式目录/usr/${USER}下的文件或目录：hdfs dfs -ls /user/${USER}
4. 创建文件夹：hdfs dfs -mkdir [-p]<path>
5. 新建文件：hdfs dfs -touchz <path>
6. 查看文件内容：hdfs dfs -cat/text [-ignoreCrc] <src> 或hdfs dfs -tail [-f] <file>
7. 追写文件：hdfs dfs -appendToFile <localsrc> ...<dst>
8. 把文件从当前文件系统上传到分布式文件系统中：hdfs dfs -put [-f] [-p] <localsrc> ... <dst>，其中dst为保存的文件名，如果dst是目录，把文件放在该目录下，名字不变，-f如果文件在分布式系统上已经存在，则覆盖储存，若不加则会报错；-p保持原始文件的属性
9. 把文件从分布式文件系统上复制到本地：hdfs dfs -get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>
10. 删除文件或目录：hdfs dfs -rm [-f] [-r] [-skipTrash] [filename]，其中-f如果要删除的文件不存在，不显示提示和错误的信息；-r级联删除目录下的所有文件和子目录文件；-skipTrash直接删除，不进入垃圾回车站
11. 显示占用磁盘的大小：hdfs dfs -du [-s] [-h]，其中-s显示指定目录下文件总大小，-h按照KMG数据大小单位显示文件大小，如果没有默认为B