一、下载安装包
因为使用在线安装特别慢,所有的安装包加起来有9个G左右,所以本教程是通过迅雷下载包,然后上传到服务器,通过配置本地源的方式来实现的离线安装。通过ambari安装需要下载下面的三个主要包:
HDP:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz
ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz
HDP-UTILS:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
注意问题:安装的centos系统必选选择英文版本,不然里面有些地方为莫名出错
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.6.0。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等), 而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。
HDP是hortonworks的软件栈,里面包含了hadoop生态系统的所有软件项目,比如HBase,Zookeeper,Hive,Pig等等。
HDP-UTILS是工具类库。
二、系统环境配置
由于本次安装没有对每次操作进行截图,所有涉及到的截图均来自网上,如果图片和文字描述对照不上,请参照文字描述过程,图片仅供参照。
1、安装 Centos7 系统
ambari 平台大都基于 linux 操作系统,由于网上基于 centors 系统的安装教程较多,所以本文基于 centos7 系统来搭建 ambari 平台。这里需要注意的是,如果自己准备的服务器内存足够大的话, 强烈建议不要选择 centos 最小化版本安装,因为最小化版本中很多配置都没有,安装之后需要先进行网络配置,否则无法通过网关,在寻找 repo 源时会导致无法找到 repo 源的错误。
我们采用全新的服务器用来搭建分布式的 hadoop 集群,通过 VMware esxi6 虚拟化服务器,将其分成5台虚拟机(smaster, bigdata1, bigdata2,bigdata3,master),其中 smaster作为集群的主节点,其余作为数据节点,搭建分布式系统。这里需要注意的是,虚拟化服务器后,将服务器配置成静态 IP 地址访问。
注:以下截图大部分来自网络,按照自身情况做改正,比如虚拟机名称、虚拟机ip地址。
2、安装 jdk 环境(所有机器)
一般 linux 自带的 jdk 或者是通过 yum 安装的 jdk 都是 openjdk1.7 版本的,可能缺乏部分功能,本文最初直接配置 linux 自带的 jdk1.7 版本,在后面的启动 ambari 服务时出现错误,所以最好自己安装 oracle jdk1.8 版本的 java 环境。配置过程如下:
(1)卸载 openjdk
rpm -qa|grep java
输出的是 java-1.7.0 的版本,应该是 java-1.7.0-openjdk 和 java-1.7.0-openjdkheadless,然后输入
rpm -e --nodeps java-1.7.0-openjdk-headless
rpm -e --nodeps java-1.8.0-openjdk
卸载掉系统自带的 jdk 环境。
(2)下载 oracle jdk 版本,并安装。
下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-
downloads-2133151.html
选择 jdk 版本 jdk-8u191-linux-x64.rpm,然后上传服务器,
安装: rpm -ivh jdk-8u191-linux-x64.rpm
安装结果如下:
输入 java -version 和 javac 指令查看环境是否配置好,这里需要注意,记住 java 安装路径,默认的安装路径在/usr/java/jdk1.8.0_191-amd64/,如果采用其他方式安装,也请记住 java 安装路径,在进行 ambari-server setup 时需要输入 java 安装路径。
3、修改/etc/hosts 文件(所有机器)
这里主要是为了实现可以通过名称来查找的相应的服务器。
修改/etc/hostname文件(所有机器)
改为相应的主机名:smaster, bigdata1, bigdata2,bigda