hadoop 常用的命令

hadoop的启动与停止

不推荐使用了 但是还可以用

start-all.sh

stop-all.sh

最新的启动命令

start-dfs.sh

stop-dfs.sh

hadoop的DFS文件系统的常用命令

创建文件夹

hadoop fs -mkdir /park  

查看文件夹

hadoop fs -ls /

迭代查看文件夹的所有文件

hadoop fs -lsr /

将本地文件上传到 hadoop 文件系统上

hadoop fs -put /hom/1.txt /park/   

将本地的home下的1.txt 文件上传到了 hdfs 上的/park文件下了

从hdfs下载到文件到本地

hadoop fs -get /park/1.txt  /home/mk

将hdfs上的/park/1.txt文件下载到 本地的 /home/mk下

删除文件

hadoop fs -rm /park/文件名

删除目录 前提是目录中没有文件

hadoop fs -rmdir /park

删除目录 即使是目录中有文件

hadoop fs -rmr /park

查看文件

hadoop fs -cat /park/a.txt

查看文件的末尾的数据

hadoop  fs -tail /park/aa.txt

执行jar包

hadoop jar xxx.jar

移动文件 或者重命名

hadoop fs -mv /park/aa.txt /park/bb.txt

文件复制

hadoop fs -cp /park/1.txt /input

查看文件大小

hadoop fs -du /park/1.txt

创建一个空文件

hadoop fs -touchz /park/2.txt

将文件夹中的数据 合并成为一个文件并且下载到本地文件系统

hadoop fs -getmerge /park /root/tmp

将park目录下的所有文件合并成一个文件，并下载到linux的root目录下的tmp目录

离开安全模式

hadoop dfsadmin -safemode -leave

进入安全模式

hadoop dfsadmin -safemode -enter

在重新启动HDFS后，会立即进入安全模式，此时不能操作hdfs中的文件，只能查看目录文件名等，读写操作都不能进行。
namenode启动时，需要载入fsimage文件到内存，同时执行edits文件中各项操作一旦在内存中成功建立文件系统元数据的映射，则创建一个新的fsimage文件（这个步骤不需要SNN的参与）和一个空的编辑文件。
此时namenode文件系统对于客户端来说是只读的。在此阶段NameNode收集各个DataNode的报告，当数据块达到最小复本数以上时，会被认为是“安全”的，在一定比例的数据块被确定为安全后，再经过若干时间，安全模式结束当检测到副本数不足的数据块时，该块会被复制直到到达最小副本数，系统中数据块的位置并不是namenode维护的，而是以块列表的形式存储在datanode中。

查看存活的datanode节点信息

hadoop dfsadmin -report

查看目录的健康状况

hadoop fdsk /

查看文件的文件block信息以及机架信息

hadoop fsck /park/1.txt -files  -blocks -locations  -racks

查看1.txt 这个文件block信息以及机架信息