relHat6.0下安装配置Hadoop-2.5.2集群

1、下载并配置JDK环境

 用vi命令编辑/etc/profile文件,添加以下内容(包括tomcat环境变量的设置)

JAVA_HOME=/usr/jdk7.0/jdk1.7.0_79
TOMCAT_HOME=/root/tomcat7.0/apache-tomcat-7.0.61
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export TOMCAT_HOME
export CLASSPATH

用 java -version 命令检验配置是否成功。

2、下载Hadoop-2.5.2

 下载地址 ：Hadoop-2.5.2

解压Hadoop到指定目录 /root/hadoopHome/hadoop-2.5.2

3、设置Hadoop环境变量

用vi命令编辑/etc/profile文件，添加以下内容

#HADOOP VARIABLES START
export HADOOP_INSTALL=/root/hadoopHome/hadoop-2.5.2
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

4、三台测试服务器，配置服务器名字

 用vi命令编辑/etc/hosts 文件，添加以下内容

192.168.152.128 h1
192.168.152.129 h2
192.168.152.130 h3
（所有更改系统的配置文件，运行 sourcem或.命令 如source /etc/profile    使配置文件即时生效而无需 重启系统）

用scp命令 依次复制/etc/hosts文件到其他服务器的对应位置

生效后，直接用ssh 服务器名 如 ssh h1连接。

5、配置服务器间无密码连接（使得集群间服务器无密码通信）

分别在三台服务上运行 ssh-keygen -t rsa 全部回车

在root/.ssh 目录会生成 两个文件 如下

 id_rsa     id_rsa.pub

把三台服务器生成的id_rsa.pub的内容复制到一个文件里取名为 authorized_keys 

把authorized_keys分别复制到三台服务的 /root/.ssh/ 目录下。

ssh命令测试连接，此时已不需要密码便可连接。

6、配置Hadoop配置文件

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh,指定jdk路径。

export JAVA_HOME=/usr/jdk7.0/jdk1.7.0_79

<一>修改$HADOOP_HOME/etc/hadoop/core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://h1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopHome/hadoop-2.5.2/hadooptmp</value>
</property>
<二>修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>h1</value>
</property>

<三>修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

因为本身没mapred-site.xml文件，可以复制mapred-site-template.xml到mapred-site.xml文件再修改

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>

<四>修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

 设置集群中每台主机都可用

<property>
<name>dfs.name.dir</name>
<value>/root/hadoopHome/hadoop-2.5.2/name1,/root/hadoopHome/hadoop-2.5.2/name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoopHome/hadoop-2.5.2/data1,/root/hadoopHome/hadoop-2.5.2/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<五>配置salves

编辑 $HADOOP_HOME/etc/hadoop/slaves

h1
h2

<六>配置salves 同步Hadoop主目录到每个主机服务器上。

 用 scp -r 命令复制到各主机

<七>格式化hdfs

$HADOOP_HOME/bin/hdfs namenode -format

<七>启动Hadoop集群

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

<八>浏览器查看

浏览器打开 http://ubuntu-V01:50070/，会看到hdfs管理页面
浏览器打开 http://ubuntu-V01:8088/，会看到hadoop进程管理页面
浏览器打开 http://ubuntu-v01:8088/cluster 查看cluster情况