hadoop集群安装配置



写在前面：

博主本人用的是13年的廉价pc机，硬件有限，所以用4台虚拟机，一主三从的形式搭建了一个hadoop集群，并没有搭建高可用的集群，下面为整体步骤：

1、修改主机名  /etc/sysconfig/network

2、修改hosts文件 /etc/hosts

3、安装jdk

4、安装hadoop

5、修改配置文件

6、克隆虚拟机

7、修改各个机器上的hosts，主机名

8、配置ssh

9、格式化nanenode

10、启动

=====================================================

机器准备：

虚拟机四台：系统选择，CentOS6.5

安装用户：hadoop用户，给hadoop用户配置sudo权限（非root用户）

主机名         ip地址             节点

hadoop01  192.168.111.3  namenode secondarynamenode resourceManager

hadoop02  192.168.111.4  datanode nodeManager

hadoop03  192.168.111.5  datanode nodeManager

hadoop04  192.168.111.6  datanode nodeManager

具体虚拟机安装不在这里描述

1、修改主机名

cd /etc/sysconfig

vi network

在network中添加：

NETWORKING=yes

HOSTNAME=hadoop01

========

2、修改hosts文件

vi /etc/hosts

=======

3、安装jdk

准备jdk1.8.tar.gz包

解压缩到/mnt/apps： tar -zxvf jdk1.8.tar.gz -C /mnt/apps

配置环境变量：

（切换到root用户或者添加sudo前缀）vi /etc/profile

在profile中添加环境变量,并运行profile

export JAVA_HOME=/mnt/apps/jdk1.8.0_51

export JRE_HOME=/mnt/apps/jdk1.8.0_51/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASS_PATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

添加完成后要source profile

检查是否配置成功 : java -version

=======

4、安装hadoop

准备hadoop-2.6.4.tar.gz包

解压缩到$home/apps：tar -zxvf hadoop-2.6.4.tar.gz -C ~/apps

配置环境变量：

（切换到root用户或者添加sudo前缀）vi /etc/profile

在profile中添加环境变量,并运行profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完成后要source profile

=======

5、修改hadoop的配置文件

hadoop的配置文件在${hadoop_home}/etc/hadoop

主要修改的配置文件有

hadoop-env.sh

在这里需要配置java_home

整体配置如下：

export JAVA_HOME=/mnt/apps/jdk1.8.0_51

core-site.xml

在这里需要配置指定的文件系统（当然是hdfs了），以及namenode的ip

配置hadoop的工作临时路径，需要提前建立

整体配置如下：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.111.3:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/apps/hadoop-2.6.4/tmp</value>

</property>

</configuration>

hdfs-site.xml

在这里主要配置hdfs的一些属性，包括namenode工作路径，datanode工作路径，副本数量（dfs.replication），secondarynamenode节点的ip和端口

整体配置如下

<configuration>

<property>   

  <name>dfs.namenode.name.dir</name>

  <value>/home/hadoop/hdpdata/name</value>

</property>

<property>

  <name>dfs.datanode.data.dir</name>

  <value>/home/hadoop/hdpdata/data</value>

</property>

<property>

  <name>dfs.replication</name>

  <value>2</value>

</property>

<property>

  <name>dfs.secondary.http.address</name>

  <value>192.168.111.3:50090</value>

</property>

</configuration>

mapred-site.xml

在这里需要配置mapreduce计算程序使用的资源调度框架，我们用的是yarn

整体配置如下

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

yarn-site.xml

在这里需要配置yarn资源调度框架的老大，也就是resourceManager的节点信息，以及mapreduce中map和reduce中间的计算过程：shuffle（其实这么说不是很准确，因为yarn并不知道你运行了mr程序，他仅仅通过container进行封装分配资源，隔离运行的程序）

整体配置如下：

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>192.168.111.3</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

</configuration>

slaves

这里配置hadoop启动的时候，自动启动的从节点

添加datanode的主机名：

hadoop02

hadoop03

hadoop04

=======

6、克隆机器

一台机器的配置基本到此结束，接下来借助vmware的克隆功能，克隆出3台机器，分别修改主机名为hadoop02，hadoop03，hadoop04

=======

7、配置ssh免密登录 ，在这里不再解答，自行百度两个命令

******配置主机之间的免密ssh登陆

假如 A  要登陆  B

在A上操作：

%%首先生成密钥对

ssh-keygen   (提示时，直接回车即可)

%%再将A自己的公钥拷贝并追加到B的授权列表文件authorized_keys中

ssh-copy-id   B

=======

8、在hadoop01格式化nanenode

hadoop namenode -format

=======

9、启动

start-dfs.sh

start-yarn.sh

查看启动情况

1、查看集群状态

命令：   hdfs  dfsadmin  –report

2、通过webui界面访问

http://192.168.111.3:50070

=======

常见问题：

1、配置文件拼错了

2、权限问题，不要用root用户启动hadoop

3、namenode格式化多次

4、移步到大神总结的

http://blog.youkuaiyun.com/yonghutwo/article/details/9206059