Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装

版本描述 系统版本为  CentOS release 6.5 (Final) Hadoop版本：hadoop 2.6.0 64 bit 版本 Zookeeper 版本：zookeeper-3.4.6 Hive版本：apache-hive-1.1.0 JDK版本哦openjdk 1.8.0 说明：apache社区上发布的是32位的编译版本，直接安装在64位上会出现库的问题 至于如何获取64位的版本，可以自己编译也可以从网上获取 网络规划 本系统设计的部件如下：hadoop2.6.0、zookeeper-3.4.6.tar.gz、hive-1.1.0、mysql 5.6.21 IP hostname 部件 进程 172.29.31.74 namenodem Hadoop ResourceManager NameNode DFSZKFailoverController(zkfc) 172.29.31.60 namenodes Hadoop、hive ResourceManager NameNode DFSZKFailoverController(zkfc) 172.29.31.64 datanode64 Hadoop、zookeeper JournalNode NodeManager DataNode zookeeper 172.29.31.68 Datanode68 Hadoop、zookeeper JournalNode NodeManager DataNode zookeeper 172.29.31.71 Datanode71 Hadoop、zookeeper JournalNode NodeManager DataNode zookeeper 172.29.31.66 mysql mysql   环境准备关闭防火墙 在每个主机上做同样的操作 在root用户下   执行如下命令：   serviceiptables stop 配置主机名 在每个主机上做同样的操作 用户root用户 修改主机名： 1、vi/etc/hostname 2、把其中原来的名修改为网络规划中指定的主机名 3、vi/etc/hosts 4、在文件中添加如下数据    172.29.31.74  namenodem 172.29.31.60  namenodes 172.29.31.68  datanode68 172.29.31.71  datanode71 172.29.31.64  datanode64 5、重启生效 用户创建 用户创建 在每个主机上做同样的操作 用root用户登录，在所有节点上创建用户，用户名为hadoop ，密码：hadoop （这是用我的名字创建的，当然是可以修改的） 1、创建用户组：groupadd hadoopgrp 2、执行如下命令: useradd hadoop -g hadoopgrp -d /home/hadoop   3、用户建立好，在设置密码   执行如下命令: passwd hadoop   在提示输入密码处输入：hadoop   在提示确认密码处输入：hadoop 建立信任关系创建密钥 所有的主机上都执行同样测操作   1、切换用户到hadoop     sudo su hadoop   2、创建.ssh 文件夹      在/home/hadoop目录下      mkdir .ssh 设置 .ssh 文件夹权限为 chmod 700 .ssh   3、创建密钥     执行如下命令：ssh-keygen -t rsa    持续回车确认，完成后在 .ssh目录下会产生如下两个文件 ：id_rsa（私钥文件）id_rsa.pub（公钥文件） 建立信任关系 1、所有主机上的公钥copy到同一台机器上（我这里copy到主机namenodem上）     scp ~/.ssh/id_rsa.pub hadoop@ namenodem:~/.ssh/id_rsa_ namenodes.pub     (注意：加粗的部分一定要按源主机区分，否则会覆盖原来主机上的配置文件)   5、创建authorized_keys      进入namenodem主机中的.ssh目录中      执行:touch authorized_keys    6、把所有的公钥全部写入authorized_keys文件中 执行：cat id_rsa_ namenodes.pub >> authorized_keys （注意：加粗的部分一定要按源主机区分,所有上步copy过来的公钥都要加入，还要把自己的公钥加入）   7、设置authorized_keys权限     chmod 600 authorized_keys   8、把authorized_keys文件copy到其他所有节点的/home/hadoop/.ssh 目录下      执行：scp ~/.ssh/authorized_keyshadoop@ namenodes:~/.ssh/      （注意：加粗的部分一定要按目的主机区分,不同的主机需要修改的）