Hadoop 2.5.0伪分布集群搭建

先作一个集群配置规划，我这里是模拟三个节点，我这里已装好一台了一个节点--bigdata01，配置过程请参考另一篇文章：

computer		hardware			software
IP	Host name	CPU	RAM	HDD	hdfs			yarn		Map reduce
192.168.22.150	bigdata01	3.6GHz (8核)	128GB	1TB	Name node	datanode			nodemanager
192.168.22.151	bigdata02	3.2GHz (8核)	128GB	1TB		datanode	Secondary namenode	Resource manager	nodemanager
192.168.22.152	bigdata03	2.6GHz(4核)	16GB	10TB		datanode			nodemanager	History server

 

然后用VMware克隆配置另外两个节点，对克隆机器IP与主机名进行修改，过程如下：

1、  修改IP地址与MAC地址，先查询克隆机的正确MAC地址，在VMware网络配置高级设置中查看，如图1：

图1

2、  使用root账户修改IP地址和MAC地址，用命令编译：vi/etc/sysconfig/network-scripts/ifcfg-eth0，删除UUID，修改IP地址（IPADDR）和MAC地址（HWADDR），如图2：

图2

3、  修改克隆机主机名，vi/etc/service/network，如图3：

图3

4、  修改克隆主机与IP对应关系，以及集群中其他主机的对应关系，使用命令：vi /etc/hosts,如图4：

图4

5、  配置集群中机器的免密钥登录，使用命令：ssh-keygen –t rsa生成本机公钥，然后用命令：ssh-copy-id bigdata02（计划免密钥登录主机名）.实现集群内各主机间的免密钥登录，如图5：

图5

根据规划部署安装集群节点功能

1、  namenode配置，在bigdata01节点上，编译core-site.xml,配置namenode服务器，如图6：

图6

2、  datnode配置，修改salves文件，添加bigdata02和bigdata03，如图7：

图7

3、  修改文件：hdfs-site.xml，配置secondarynamenode到bigdata02，如图8：

图8

4、  修改yarn-site.xml，配置resourcemanager到bigdata02，如图9：

图9

5、  修改mapred-site.xml，配置historyserver到bigdata03，如图10:

图10

6、  启动集群：start-dfs.sh,在各节点查看服务，如图11:

图11

7、  登录WEB页面查看UI，如图12-14：

图12

图13

图14

8、  运行WrodCount程序，执行命令：hadoopjar/home/beifeng/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jarwordcout /word/spf /word/out1，从namenode上查看文件,从am管理节点上查看运行状态,从历史服务器查看日志:

9、执行成功，使用命令：hdfs dfs -cat /word/out1/part-r-00000查看运行结果图：