WT-hadoop集群安装

基于单机版的安装，改变配置文件参数，分发到其他集群的机器中，假如需要五台虚拟机 ，各个计算机安装的主要模块如下：

       uplooking01 namenode 

       uplooking02 secondnamenode 

       uplooking03 datanode

       uplooking04 datanode

       uplooking05 datanode 

1 配置xml

1 .1core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://uplooking01</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-repo/tmp</value>
    </property>
</configuration>

1.2 hdfs-site.xml~~~xml

<configuration>
    <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:///opt/hadoop-repo/name</value>  
    </property>

    <property> 
        <name>dfs.datanode.data.dir</name>  
        <value>file:///opt/hadoop-repo/data</value>  
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///opt/hadoop-repo/secondary</value>
    </property>
    <!-- secondaryName http地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>uplooking02:9001</value>
    </property>
    <!-- 数据备份数量-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 运行通过web访问hdfs-->
    <property> 
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
    </property>
    <!-- 剔除权限控制-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property> 
</configuration>

1.3 mapred-site.xml   暂时没找到

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property> 
    <!-- 历史job的访问地址-->
    <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>uplooking02:10020</value>  
    </property>
    <!-- 历史job的访问web地址-->
    <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>uplooking02:19888</value>  
    </property>
    <property>
        <name>mapreduce.map.log.level</name>
        <value>INFO</value>
    </property>
    <property>
        <name>mapreduce.reduce.log.level</name>
        <value>INFO</value>
    </property>
</configuration>

1.4 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>uplooking02</value>
    </property> 
    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>uplooking02:8032</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>uplooking02:8030</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>uplooking02:8031</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>uplooking02:8033</value>  
    </property>
    <property> 
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>uplooking02:8088</value>  
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property>
</configuration>

2 克隆虚拟机

2.1解决主机ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33   //配置自己静态ip

2.2配置主机映射

vi /etc/hosts    //进行从机映射配置 ， 使五个虚拟机能相互ping通
从机ip  从机名  

2.3配置slaves文件 

vi /opt/hadoop/etc/hadoop/slaves  //datanode 存放的从机配置
uploading03 //从机名

3分发文件

将映射文件和slaves文件分发到其他机器上

scp <localhost> uploading:<dist>   // 将本地文件分发到其他机器上

4格式化文件系统

hadoop-namenode -format

5启动hadoop集群

start-dfs.sh

6测试hadoop集群是否安装成

- http://uplooking01:50070
- http://uplooking02:8088

7关闭hadoop集群

stop-dfs.sh