伪分布及完全分布式

• 伪分布搭建以及改为完全分布式

  ---

  #从0搭建伪分布式
  ====================root用户==================
  1.准备虚拟机
  2.修改静态ip
      DEVICE="eth0"
      BOOTPROTO="static"
      HWADDR="00:0C:29:A2:3B:C9"
      IPV6INIT="yes"
      NM_CONTROLLED="yes"
      ONBOOT="yes"
      TYPE="Ethernet"
      UUID="0202b9d4-9762-4348-aa0c-7ce122f50d9e"
      #IP地址
      IPADDR=192.168.1.111  （自己配置）
      #网关
      GATEWAY=192.168.1.2
      #域名解析器
      DNS1=114.114.114.114
      DNS2=8.8.8.8

      service network restart  重启一下
      ifconfig                 查看IP是否变化，没有变化重启

   修改hostname主机
      vim /etc/sysconfig/network
          NETWORKING=yes
          HOSTNAME=hadoop01 (主机名)
          
          hostname主机重启后生效
  3. 添加用户
      useradd jinghang
      passwd  jinghang
      
  4.创建目录module（解压的安装包）、software（压缩的安装包）
      mkdir /opt/module /opt/software
      
      修改文件所属主和组
      chown -R jinghang:jinghang /opt/module  /opt/software
      
  5.给普通用户添加sudo权限
      vim /etc/sudoers
      在93行添加
      jinghang        ALL=(ALL)       NOPASSWD:ALL

  6.添加主机和IP的映射关系
      vim /etc/hosts
      静态ip        主机名
      192.168.1.111 hadoop01
      192.168.1.112 hadoop02
      192.168.1.113 hadoop03
      
  7.关机拍快照（conf_step1）

  ==================================第七步之后普通用户操作====================

  8.安装jdk和hadoop
      将jdk-8u144-linux-x64.tar和hadoop-2.7.2.tar上传到/opt/software（打开xshell连接SFTP拖动文件到/opt/software）
      
      安装jdk
      1.解压jdk
          tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
          
      2.配置环境变量
          sudo vim /etc/profile
          
              #JAVA_HOME
              export JAVA_HOME=/opt/module/jdk1.8.0_144
              export PATH=$PATH:$JAVA_HOME/bin
          
          注意：如果之前存在java安装包，需要先卸载
          rpm -qa | grep java 查看
          rpm -e 安装包 --nodeps 卸载
          
      安装hadoop
      1.解压hadoop
          tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
      2.配置环境变量
          sudo vim /etc/profile
              #HADOOP_HOME
              export HADOOP_HOME=/opt/module/hadoop-2.7.2
              export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
              
      激活环境变量
      source /etc/profile
      
      检查是否安装成功
      java -version
      java version "1.8.0_144"
      Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
      Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
      
      hadoop version
      Hadoop 2.7.2
      Subversion Unknown -r Unknown
      Compiled by root on 2017-05-22T10:49Z
      Compiled with protoc 2.5.0
      From source with checksum d0fda26633fa762bff87ec759ebe689c
      This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar
      
      伪分布式配置
      1.添加JAVA_HOME
      hadoop-env.sh
      mapred-env.sh
      yarn-env.sh
      在以上三个文件中添加
      export JAVA_HOME=/opt/module/jdk1.8.0_144
      
      2.设置namenode节点所在的服务器地址和临时文件的存储目录
      vim core-site.xml
          <!-- 指定HDFS中NameNode的地址 -->
          <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://自己服务器的主机名:9000</value>
          </property>

          <!-- 指定Hadoop运行时产生文件的存储目录 -->
          <property>
                  <name>hadoop.tmp.dir</name>
                  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
          </property>
          
      3.配置文件的副本数
          vim hdfs-site.xml
          
              <!-- 指定HDFS副本的数量hadoop集群默认是3个副本 -->
              <property>
                      <name>dfs.replication</name>
                      <value>1</value>
              </property>
              
      4.配置yarn-site.xml
          vim yarn-site.xml
          
          <!-- Reducer获取数据的方式 -->
          <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
          </property>

          <!-- 指定YARN的ResourceManager的地址 -->
          <property>
                  <name>yarn.resourcemanager.hostname</name>
                  <value>自己服务器的主机名</value>
          </property>
          <!-- 日志聚集功能使能 -->
          <property>
                  <name>yarn.log-aggregation-enable</name>
                  <value>true</value>
          </property>

          <!-- 日志保留时间设置7天 -->
          <property>
                  <name>yarn.log-aggregation.retain-seconds</name>
                  <value>604800</value>
          </property>
          
      5.配置mapred-site.xml 
          vim mapred-site.xml
          <!-- 指定MR运行在YARN上 -->
          <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
          </property>
          <!-- 历史服务器端地址 -->
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>自己的主机名:10020</value>
          </property>
          <!-- 历史服务器web端地址 -->
          <property>
                  <name>mapreduce.jobhistory.webapp.address</name>
                  <value>自己的主机名:19888</value>
          </property>
          
      以上配置完毕就可以启动集群
      1.格式化namenode(只在集群启动的时候格式化一次)
          bin/hdfs namenode -format
          
          注意：不小心进行了两次格式话(所有的节点服务都需要停掉)
          step1    rm -rf data/  logs/
          step2   bin/hdfs namenode -format
      2.启动namenode
          sbin/hadoop-daemon.sh start namenode
      3.启动datanode
          sbin/hadoop-daemon.sh start datanode
      4.启动resourcemanager
          sbin/yarn-daemon.sh start resourcemanager
      5.一定要去启动nodemanager
          sbin/yarn-daemon.sh start nodemanager
      6.开启历史服务
          sbin/mr-jobhistory-daemon.sh start historyserver
          
      查看你的datanode web服务(注意2.7.2：50070  3.2.1:9870)
      
      https://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-common/ClusterSetup.html
      https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html
      如果要使用
          主机名:50070 需要在windowns中的 C:\Windows\System32\drivers\etc 添加 hosts（主机和ip的映射关系）
      也可以
          ip:50070
      
      查看yarn的web服务
           主机名:8088
      
      查看历史服务器web端
          主机名:19888
          
      可以完成如下操作：
      （a）在HDFS文件系统上创建一个input文件夹
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /input
      （b）将测试文件内容上传到文件系统上
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /input
      （c）查看上传的文件是否正确
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls  /input
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /input/wc.input
      （d）运行MapReduce程序
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hadoop jar
          share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input  /output
      （e）查看输出结果
          命令行查看：
          [jinghang@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /output/*
              
      以上操作只是配置了伪分布式，上产环境会用完全分布式

  ==============================一下将伪分布式修改为完全分布式===================
  伪分布式其实就是将：namenode、datanode、resourcemanager、nodemanager、historyserver放在了一台服务器上。（模拟了完全分布式的工作流程）

  设计集群
  hdfs： namenode(存储元数据)      datanode（存储数据块）     secondarynamenode（辅助namenode）
  yarn:  resourcenamnager（负责整体的资源调度）  nodemanager(接受resourcenamnager的命令，运行MR)
  historyserver 

  3台（hadoop默认的副本数是3）
      hadoop01                hadoop02                        hadoop03
      namenode                resourcenamnager                secondarynamenode
      datanode                datanode                        datanode
      nodemanager             nodemanager                     nodemanager
      historyserver
      
      2.设置namenode节点所在的服务器地址和临时文件的存储目录
      
      vim core-site.xml
          <!-- 指定HDFS中NameNode的地址 -->
          <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://hadoop01:9000</value>
          </property>

          <!-- 指定Hadoop运行时产生文件的存储目录 -->
          <property>
                  <name>hadoop.tmp.dir</name>
                  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
          </property>
          
          
      3.配置文件的副本数
          vim hdfs-site.xml
          
              <!-- 指定HDFS副本的数量hadoop集群默认是3个副本 -->
              <property>
                      <name>dfs.replication</name>
                      <value>3</value>
              </property>
              <!-- 指定Hadoop辅助名称节点主机配置 -->
              <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>hadoop03:50090</value>
              </property>
              
      4.配置mapred-site.xml 
          vim mapred-site.xml
          <!-- 指定MR运行在YARN上 -->
          <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
          </property>
          <!-- 历史服务器端地址 -->
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>hadoop01:10020</value>
          </property>
          <!-- 历史服务器web端地址 -->
          <property>
                  <name>mapreduce.jobhistory.webapp.address</name>
                  <value>hadoop01:19888</value>
          </property>
          
      5.配置yarn-site.xml
          vim yarn-site.xml
          
          <!-- Reducer获取数据的方式 -->
          <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
          </property>

          <!-- 指定YARN的ResourceManager的地址 -->
          <property>
                  <name>yarn.resourcemanager.hostname</name>
                  <value>hadoop02</value>
          </property>
          <!-- 日志聚集功能使能 -->
          <property>
                  <name>yarn.log-aggregation-enable</name>
                  <value>true</value>
          </property>

          <!-- 日志保留时间设置7天 -->
          <property>
                  <name>yarn.log-aggregation.retain-seconds</name>
                  <value>604800</value>
          </property>
          
      //到此位置修改完全分布式完毕
      注意：集群中的其他节点和hadoop01上的配置保持一致
      将hadoop01上的jdk、hadoop、profile、.ssh全部分发到hadoop02、hadoop03上
      然后启动
      1.单点启动
      2.群起
          （1）必须实现服务器之间的免密登录
          （2）修改hadoop2.7.2文件夹下的etc/hadoop/slaves文件
              添加集群服务器的主机名
              hadoop01
              hadoop02
              hadoop03
          将hadoop01 修改hadoop2.7.2文件夹下的etc/hadoop/slaves文件分发到hadoop02、hadoop03
          
          执行群起(cd /opt/module/hadoop-2.7.2)
          群起hdfs
          sbin/start-dfs.sh  |  sbin/stop-dfs.sh    
          群起yarn
          sbin/start-yarn.sh |  sbin/stop-yarn.sh
          
  两个脚本文件
  脚本1
  jpsall
      #!/bin/bash

      for((i=1;i<4;i++))
      do
              echo ----------------------hadoop0$i----------------------------
              ssh hadoop0$i "source /etc/profile && jps"
      done
      
      
  脚本2
  myrsync

      #!/bin/bash
      #1 获取输入参数个数，如果没有参数，直接退出
      pcount=$#
      if ((pcount==0)); then
      echo no args;
      exit;
      fi

      #2 获取文件名称
      p1=$1
      fname=`basename $p1`
      echo fname=$fname

      #3 获取上级目录到绝对路径
      pdir=`cd -P $(dirname $p1); pwd`
      echo pdir=$pdir

      #4 获取当前用户名称
      user=`whoami`

      #5 循环
      for((host=2; host<4; host++)); do
              echo ------------------- hadoop0$host --------------
              rsync -av $pdir/$fname $user@hadoop0$host:$pdir
      done