（二）Hadoop安装配置

1.安装jdk

（1）下载jdk-8u65-linux-x64.tar.gz

（2）解压
            tar -xzvf jdk-8u65-linux-x64.tar.gz

（3）创建/soft文件夹
           sudo mkdir /soft

（4）移动jdk到/soft下
           mv ~/jdk-1.8.0_65  /soft/

（5）创建符号连接
           ln -s /soft/jdk-1.8.0_65  /soft/jdk

（6）验证jdk安装是否成功
           cd /soft/jdk/bin
           ./java -version

 

2.配置CentOS环境变量

（1）编辑/etc/profile
        sudo nano /etc/profile
        添加：
                export JAVA_HOME=/soft/jdk
                exprot PATH=$PATH:$JAVA_HOME/bin

（2）使环境变量即刻生效
         source /etc/profile

（3）进入任意目录下,测试是否成功
         cd ~
         java -version

 

3.安装hadoop

（1）下载hadoop-2.7.3.tar.gz
（2）解压
            tar -xzvf hadoop-2.7.3.tar.gz
（3）移动tar开的文件到/soft下
            mv ~/hadoop-2.7.3 /soft/
（4）创建符号连接
            ln -s /soft/hadoop-2.7.3 /soft/hadoop
（5）验证Hadoop安装是否成功
            cd /soft/hadoop/bin
            ./hadoop version
（6）配置hadoop环境变量
            sudo nano /etc/profile
        添加：
                 export HADOOP_HOME=/soft/hadoop
                 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
（7）生效
           source /etc/profile

 

4.配置hadoop

（1）进入${HADOOP_HOME}/etc/hadoop目录

（2）编辑core-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost/</value>
                </property>
            </configuration>

（3）编辑hdfs-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>

（4）编辑mapred-site.xml
            注意:cp mapred-site.xml.template mapred-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>
（5）编辑yarn-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

（6）配置SSH

    1）检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
                yum list installed | grep ssh

    2）检查是否启动了sshd进程
                ps -Af | grep sshd
            
    3）在client侧生成公私秘钥对。
                ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
            
    4）生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

    5）追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
                cd ~/.ssh
                cat id_rsa.pub >> authorized_keys
            
    6）修改authorized_keys的权限为644.
                chmod 644 authorized_keys

    7）测试
                ssh localhost

    8）对hdfs进行格式化

                hadoop namenode -format

    9）修改hadoop配置文件，手动指定JAVA_HOME环境变量(*)

        sudo vi /etc/hadoop/hadoop-env.sh
       添加：
               export JAVA_HOME=/soft/jdk

    10）启动hadoop的所有进程
               start-all.sh

    11）启动完成后，出现以下进程
                jps命令查看
                     33702 NameNode
                      33792 DataNode
                      33954 SecondaryNameNode

                      29041 ResourceManager
                      34191 NodeManager

    12）查看hdfs文件系统
                hdfs dfs -ls /

    13）通过浏览器查看hadoop的文件系统
                http://localhost:50070/

    14）停止hadoop所有进程
                stop-all.sh