大数据学习笔记之Hadoop环境配置(伪分布式搭建)

Hadoop 运行环境搭建

              1、编辑/etc/sysconfig/network-scripts/ifcfg-ens33 文件修改ip地址和网关配置

修改以上3个地方

注意：3是自己添加，添加时注意IPADDR前三位要和电脑IP地址前三位一样

网关和虚拟机的一样

编辑/etc/resolv.conf文件添加如下网关配置

 

然后重启网卡service network restart

 

 

              2、禁用防火墙

               禁用防火墙命令：systemctl disable firewalld.service，输入命令可以查看一下是否成功

还需要修改/etc/selinux/config文件

这样防火墙就禁用掉了

              3、在/etc/hosts 中设置主机ip映射关系

这里是我的ip地址和主机名（这里配置多台是为了后面搭集群，如果只有一台配置一个就可以）

              4、安装JDK

 

伪分布式搭建 

        配置core-site.xml

              <!-- 指定 HDFS 中 NameNode 的地址 -->
            <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://bigdata111:9000</value>
           </property>
             <!-- 指定 hadoop 运行时产生文件的存储目录 -->
           <property>
               <name>hadoop.tmp.dir</name>
              <value>/opt/module/hadoop-2.7.3/data</value>
          </property>

 

       配置hdfs-site.xml

 

 

           <!--数据冗余数-->
          <property>
                <name>dfs.replication</name>
                <value>3</value>
          </property>
          <!--secondary 的地址-->
          <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>bigdata111:50090</value>
          </property>
           <!--关闭权限-->
          <property>
               <name>dfs.permissions</name>
               <value>false</value>
          </property>

 

 

配置yarn-site.xml

 

    <!-- reducer 获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 YARN 的 ResourceManager 的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata111</value>
    </property>
    <!-- 日志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 日志保留时间设置 7 天(秒) -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

 

 

配置mapred-site.xml

    <!-- 指定 mr 运行在 yarn 上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--历史服务器的地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata111:10020</value>
    </property>
    <!--历史服务器页面的地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigbata111:19888</value>
    </property>

 

 

在hadoop-env.sh、yarn-env.sh、mapred-env.sh最后添加JDK配置

export JAVA_HOME=/opt/module/jdk1.8.0_144

 

以上就把改配置的地方都配置完了，下面需要格式化和启动

 

执行hdfs namenode -format命令

看到这个就说明成功了

 

执行start-all.sh 依次输入密码

 

在浏览器访问自己虚拟机的ip:50070地址验证是否成功

 

 

 

 

打开页面显示正常就说明配置成功了