Hadoop环境搭建--StandAlone式

第一步：下载apache hadoop并上传到服务器

下载链接：

http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

解压命令

cd /export/softwares

tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

修改配置文件

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim  core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://192.168.94.100:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>

    </property>

    <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

    <property>

        <name>io.file.buffer.size</name>

        <value>4096</value>

    </property>


    <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->

    <property>

        <name>fs.trash.interval</name>

        <value>10080</value>

    </property>

</configuration>

修改hdfs-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim hdfs-site.xml

<configuration>

    <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   -->

    <!--   集群动态上下线

    <property>

        <name>dfs.hosts</name>

        <value>/export/servers/hadoop-2.7.4/etc/hadoop/accept_host</value>

    </property>

    <property>

        <name>dfs.hosts.exclude</name>

        <value>/export/servers/hadoop-2.7.4/etc/hadoop/deny_host</value>

    </property>

     -->     

     <property>

            <name>dfs.namenode.secondary.http-address</name>

            <value>node01:50090</value>

    </property>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>node01:50070</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///export/servers/hadoop2.7.5/hadoopDatas/namenodeDatas,
        file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>

    </property>

    <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>

    </property>

    <property>

        <name>dfs.namenode.edits.dir</name>

        <value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>

    </property>

  
    <property>

        <name>dfs.namenode.checkpoint.dir</name>

        <value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>

    </property>

    <property>

        <name>dfs.namenode.checkpoint.edits.dir</name>

        <value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

    <property>

        <name>dfs.blocksize</name>

        <value>134217728</value>

    </property>

</configuration>

 

修改hadoop-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim  hadoop-env.sh

vim  hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

 

修改mapred-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim  mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>



    <property>

        <name>mapreduce.job.ubertask.enable</name>

        <value>true</value>

    </property>

   

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>node01:10020</value>

    </property>



    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>node01:19888</value>

    </property>

</configuration>

 

修改yarn-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim  yarn-site.xml

<configuration>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>node01</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

   

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>604800</value>

    </property>

</configuration>

修改slaves

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop

vim   slaves

localhost

启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。
hdfs namenode -format 或者 hadoop namenode –format

启动命令：

创建数据存放文件夹

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

 

准备启动

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/

bin/hdfs namenode -format

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面

http://node01:50070/explorer.html#/  查看hdfs

http://node01:8088/cluster   查看yarn集群

http://node01:19888/jobhistory  查看历史完成的任务