【配置】Hadoop三节点分布式集群搭建

一、集群规划

1.主机规划

2.软件规划

jdk
centos
zookeeper
hadoop

3.用户规划
创建hadoop用户和用户组

4.目录规划
所有软件目录： /home/hadoop/app
所有数据和日志目录： /home/hadoop/data

二、安装前环境准备(所有节点)

1.禁用防火墙

[root@pc1 ~]#chkconfig iptables off
[root@pc1 ~]#reboot
[root@pc1 ~]#service iptables status

2.hosts文件检查

配置集群间的主机IP与hostname一一对应

[root@pc1 ~]# vi /etc/hosts

3.时钟同步：所有节点的时间要与当前时间一致

[root@pc1 ~]#yum install -y ntp //安装时钟同步工具

4.创建hadoop用户和用户组

设置密码

5.配置集群之间ssh免密码登录

①分别配置每个节点的免密码登录

②将所有节点的公钥id_rsa.pub拷贝到pc1节点的authorized_keys文件中

[hadoop@pc3 .ssh]$ cat ~/.ssh/id_rsa.pub | ssh hadoop@pc1 'cat >> ~/.ssh/authorized_keys'

[hadoop@pc2 .ssh]$ cat ~/.ssh/id_rsa.pub | ssh hadoop@pc1 'cat >> ~/.ssh/authorized_keys'

③然后将pc1的authorized_keys文件分发到所有节点

[hadoop@pc1 .ssh]$ scp -r authorized_keys hadoop@pc3:~/.ssh/

④赋予权限

⑥相互登录

6.在pc1安装脚本工具deploy.sh，runRemoteCmd.sh

参考http://blog.youkuaiyun.com/zoeyen_/article/details/78861971

7.创建程序安装目录和数据目录

三、集群搭建

1.安装jdk

①上传jdk1.7.0_79至/home/hadoop/app目录，解压。

②配置环境变量

③使环境变量文件生效，并查看jdk版本，出现以下信息说明安装成功

④将pc1的jdk文件分发到其他节点

[hadoop@pc1 app]$ deploy.sh jdk /home/hadoop/app/ slave // slave是pc2和pc3的共同标签

⑤在pc2和pc3上重复②③步骤

2.安装zookeeper

①上传，解压zookeeper-3.4.6.tar.gz。

②进入conf目录，修改配置文件

因为是上传在root目录下，还需要赋予zookeeper目录hadoop权限

[root@pc1 app]# chown -R hadoop:hadoop zookeeper

③修改数据目录和日志目录

④创建数据目录和日志目录