Hadoop常用命令

不用Hadoop才几天，今天再用就有点忘了，这里将常用命令总结一下，以备以后使用查询。

1. 开启关闭Hadoop集群命令

    配置好HADOOP_HOME路径

   bin/start-all.sh

   bin/stop-all.sh

2. 一般的文件系统操作，命令如下

    hadoop fs -ls  dir                                         #显示dir目录下的内容，这样的命令基本和Linux下一样

    hadoop fs -mkdir      dir                               #创建目录

    hadoop fs -put   sourceFile  destFile           #上传文件

4. 执行jar包

      hadoop jar jar包 程序执行参数

5.   当运行Hadoop空间不足时，我们一般都是查找Master节点的空间，其实，有些时候我们更应该看看其他DataNode的，有些时候kill掉的job，没有把他缓冲文件删除，这是我们需要通过一些Linux命令来查看具体哪个目录下存有大文件。

      df -h                              #查看当前分区还剩多大空间

      du -d 1 -h  dir             #查看dir目录下各文件和文件夹所占的空间，这里-d表示设定的深度，du命令默认是递归遍历所有子目录，-h是表示以我们容易理解的方式显示大小