最新版Ambari2.75安装及HDP3.1.5集群搭建

最近打算使用ambari搭建集群，却突然发现Cloudera相关软件包括HDP、CDH都收费了，都需要有效的订阅，并且只能通过付费墙进行访问（官宣地址：关于Cloudera软件的访问获取）。还好笔者千辛万苦在内外网找了两天才搞到最新版ambari2.7.5和HDP3.1.5的二进制安装包。以下详细介绍ambari的安装，及使用ambari搭建HDP集群的详细步骤，以及遇到的各种问题；文中有提供ambari2.7.5和HDP3.1.5的二进制安装包的百度网盘下载地址。

Ambari2.7.5和HDP3.1.5二进制安装包下载地址：ambari2.7.5百度网盘下载地址.txt_ambari2.7.5-Hadoop工具类资源-优快云下载

前言

    这次集群安装使用5台机器，分别是hadoop01、hadoop02、hadoop03、hadoop04、hadoop05。其中，hadoop01为ambari server所在节点，也是mysql所在节点，也是下文提到的镜像服务器。

1、环境准备

1.1安装必备软件

yum -y install gcc gcc-c++ kernel-devel libtirpc-devel

yum -y install rpm-build

yum -y install net-tools

yum -y install openssl openssl-devel patch

yum -y install wget

yum install -y bash-completion

yum install -y unzip zip

1.2安装ssh

yum install -y openssh-clients

yum install -y openssh-server

#启动

/usr/sbin/sshd -D &

1.3内存需要

Number of hosts	Memory Available	Disk Space
1	1024 MB	10 GB
10	1024 MB	20 GB
50	2048 MB	50 GB
100	4096 MB	100 GB
300	4096 MB	100 GB
500	8096 MB	200 GB
1000	12288 MB	200 GB
2000	16384 MB	500 GB

可以使用以下命令查看：

free -m

1.4最大打开文件限制

检查当前最大打开文件限制

ulimit -Sn

ulimit -Hn

如果小于10000，则需设置

ulimit -n 10000

1.5配置全限定域名FQDN

（1）配置集群每台服务器的hosts

vim /etc/hosts

#这两个不能删

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

#第一列：IP，第二列：域名，第三列：主机名

192.168.100.151 hadoop01.com hadoop01

192.168.100.152 hadoop02.com hadoop02

192.168.100.153 hadoop03.com hadoop03

192.168.100.154 hadoop04.com hadoop04

192.168.100.155 hadoop05.com hadoop05

（2）设置每台服务器的hostname

hostname `hostname -f`  #使用这个命令可以使用xshell等终端工具批量设置

1.6免密登录

（1）ambari server所在主机要和其它主机通信并安装ambari agent，所以需配置server到其它服务器的免密登录

ssh-keygen -t rsa  #（四个回车）

#执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

cd ~/.ssh

（2）将server所在服务器的公钥拷贝到其它服务器

ssh-copy-id hadoop02

ssh-copy-id hadoop03

ssh-copy-id hadoop04

ssh-copy-id hadoop05

（3）分别ssh登录其它服务器

配置完ssh免密登录后，第一次需要输入密码，之后就可免密登录了

ssh hadoop02

ssh hadoop03

ssh hadoop04

ssh hadoop05

1.7各主机安装同步时钟

yum install -y ntp

systemctl enable ntpd

1.8各主机关闭防火墙

systemctl disable firewalld

service firewalld stop

1.9各主机关闭seLiinux和packageKit和umask值

（1）修改selinux值

vim /etc/selinux/config

#修改如下选项

SELINUX=disabled

（2）修改packageKit值（这个packageKit默认未启用；如果未启用可以不用处理）

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

#修改如下选项

enabled=0

（3）umask修改