Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程

最新推荐文章于 2022-06-14 19:59:45 发布

原创最新推荐文章于 2022-06-14 19:59:45 发布 · 775 阅读

CC 4.0 BY-SA版权

文章标签：

7 篇文章

订阅专栏

本文详细记录了在Centos7环境下使用Ambari 2.6.2.2安装HDP 2.6.5集群的过程，包括准备工作如虚拟机配置、软件安装、权限设置及防火墙、SELinux调整，以及Ambari-server配置、HDP安装步骤和常见错误处理。

设置你的hostname，hostnamectl set-hostname xxx 如果你想好过一点的，就乖乖的设置。没安装过原生hadoop集群的人是不知道这个hostname多么重要呀（如果不改hostname，能让你发狂，各种访问不通的问题）
hadoop权限用户的免密登录（最好不要使用root，如果有漏洞被人利用了就完犊子了），因为ambari-server需要免密登录执行脚本。顺带着把即将要安装ambari-server的服务器的hadoop 的id_rsa拷贝出来，一会需要用到。
/etc/hosts 添加刚刚设置的集群host和ip的映射。
systemctl disable firewalld 永久关闭防火墙 / systemctl stop firewalld 临时关闭防火墙
5。关闭selinux cat /etc/selinux/config，修改行SELINUX=disabled。操作到此处最好重启一下。

JAVA环境（每台机器）：安装JDK8（配置JAVA_HOME，不用我说了吧），注意一点就好：记得卸载自带的jdk
时钟同步（每台机器）：yum -y install ntp。ntpdate pool.ntp.org 同步时间，可以设置crontab来定时启动时钟同步。或者启动systemctl start ntpd。
httpd（主机器）：因为国外镜像，所以下载大文件偶尔会出问题，推荐自建镜像源。 yum -y install httpd，systemctl start httpd。

createrepo HDP/
修改 ambari 的资源配置文件HDP/ambari/...../ambari.repo。中间路径省略了，就一个文件夹==。baseurl修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/，gpgkey修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins。中间的路径可以依照包解压的样子自己修改。
同理修改HDP的资源配置文件，这个里面包含了HDP和HDP_UTILS的配置修改。
如果用的HDP-GPL，还需要修改HDP-GPL的资源配置文件。
将刚刚修改的几个资源配置文件复制到每台机器的/etc/yum.repos.d/
yum clean all && yum makecache && yum repolist，看看是不是有ambari的资源了。

第一个是修改运行用户；过段选择y，然后输入hadoop
第二个是配置JAVA_HOME。
第三个是配置数据库（怕麻烦的话，选择n，默认使用PostgreSQL，啥也不用管）
第三个如果使用自己的数据库，请先在目标数据库运行sql文件（/var/lib/ambari-server/resources/目录下的对应sql文件。 mysql8的注意，里面有些sql错误，官方的这些人表名用关键字也是牛逼呀，还不加``，自己改吧）
4.主服务器：root权限 ambari-server start。

我就不赘述了，怎么配置集群很简单的，我说一下容易出错的点吧。

第二步 Select Version，填写的就是httpd服务的URL地址，其实和repo文件里面的一致
第三步 Install Options，填写的就是之前拷出来的id_rsa文件，用户写hadoop，你的私钥都是hadoop用户的。这个地方的用户是设置的集群以什么用户启动，安装。权限不足的可以给个visodu
第四步 Config Host，这个地方是错误百出呀，各种奇葩的错误，无非就是需要升级openssl或者在/etc/ambari-agent/conf/ambari-agent.ini文件的[security]下增加force_https_protocol=PROTOCOL_TLSv1_2，真心重点。最好每台服务器都设置这个。success以后最好处理一下check出来的问题，不然后面出现的错误，你都不知哪里来的，还是乖乖听官方大哥的，别忽略，有个提示存在hadoop用户的，那个不用处理，毕竟咱们的ambari就是需要hadoop。
后面就是点点点式操作，几乎不用动，配置在集群建好之后还可以修改。

其实吧，ambari还蛮好用的，个人比较喜欢，因为刚开始的时候是接触的原生的hadoop组件，ambari就是在原生的hadoop组件上做了集成，你能够看到hadoop 的版本，而CDH就不一样了，感觉整体都换了，所有的版本都是依赖于CDH的版本。并且ambari是完全开源，免费的，公司首选呀。
个人推荐学习的话，还是从原生hadoop组件开始，等hadoop的生态圈熟悉的差不多了，就可以开始使用集成工具来搭建维护集群。
在集群切换HA的时候，ambari貌似有BUG，web界面上修改第二个namenode的部署节点，但是配置文件里面没有，导致配置文件和ambari存储在数据库中的组件位置信息不一致，导致HA的时候失败，出现HA和secondaryNamenode同时存在，这个时候就是需要展现你对原生hadoop 的理解了，最好是修改配置文件，让配置文件和数据库的信息一致。关于怎么删掉secondaryNamenode我还在想办法。