Hadoop伪分布式配置

1. 关闭防火墙

2. 安装JDK
   JAVA_HOME=/home/presoftware/jdk1.8
   NODE_HOME=/home/presoftware/node6
   PATH=$PATH:./:$JAVA_HOME/bin:$NODE_HOME/bin

3. 修改主机名，在Hadoop中，要求主机名中不能出现_和-
   cd /etc/sysconfig
   vim network
   修改HOSTNAME，主机名最好是字母或者数字，但是不能全部是数字，数字最好不作为开头。例如：
   HOSTNAME=hadoop01
   保存退出，并且重新生效
   source network

4. 将主机名和IP进行映射
   cd …
   vim hosts
   添加映射，例如：
   192.168.229.131 hadoop01
   保存退出

5. 重启
   reboot

6. 配置免密登陆
   生成公私钥
   ssh-keygen
   配置免密
   ssh-copy-id root@hadoop01
   密码：tarena2017Up;
   测试一下是否免密：
   登录 ssh hadoop01
   退出 exit/logout

7. 下载Hadoop

8. 解压Hadoop
   tar -xvf hadoop-2.7.1_64bit.tar.gz

9. 进入Hadoop的安装路径
   cd hadoop-2.7.1
   cd etc/Hadoop

10. 编辑hadoop-env.sh
    vim hadoop-env.sh
    修改
    export JAVA_HOME=/home/presoftware/jdk1.8
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
    保存退出，重新生效
    source hadoop-env.sh

11. 编辑core-site.xml
    vim core-site.xml
    添加：

    fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /home/software/hadoop-2.7.1/tmp

12. 编辑hdfs-site.xml
    vim hdfs-site.xml
    添加：

    dfs.replication 1

13. 编辑mapred-site.xml
    cp mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    添加：

    mapreduce.framework.name yarn

14. 编辑yarn-site.xml
    vim yarn-site.xml
    添加：

    yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle

15. 编辑slaves文件
    vim slaves
    添加当前的主机名，例如：
    hadoop01

16. 配置环境变量
    vim /etc/profile
    添加：
    export HADOOP_HOME=/home/software/hadoop-2.7.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存退出之后，重新生效：
    source /etc/profile

17. 第一次启动Hadoop之前需要进行一次格式化
    hadoop namenode -format
    ****command not found — 环境变量
    ****如果出现其他错误，查看core-site.xml和hdfs-site.xml

18. 启动Hadoop
    start-all.sh
    如果启动成功，利用jps查看，会出现以下6个进程：
    Jps
    NameNode — 50070
    DataNode — 50075
    SecondaryNameNode — 50090
    ResourceManager — 8088
    NodeManager

19.如果是命令找不到，则表示环境变量配置错误或者是没有source
如果少了NameNode或者DataNode：
a.coere-site.xml或者hdfs-site.xml配置错误
b.多次格式化 - 删除/home/software/hadoop-2.7.1/tmp重新格式化重新启动
如果少了ResourceManager或者NodeManager:
查看yarn-site.xml