Ambari 2.6离线搭建教程

一、下载安装包
  因为使用在线安装特别慢,所有的安装包加起来有9个G左右,所以本教程是通过迅雷下载包,然后上传到服务器,通过配置本地源的方式来实现的离线安装。通过ambari安装需要下载下面的三个主要包:
HDP:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz
ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz
HDP-UTILS:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

注意问题:安装的centos系统必选选择英文版本,不然里面有些地方为莫名出错

    Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.6.0。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等), 而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

    Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。

    Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。

HDP是hortonworks的软件栈,里面包含了hadoop生态系统的所有软件项目,比如HBase,Zookeeper,Hive,Pig等等。

HDP-UTILS是工具类库。

二、系统环境配置
由于本次安装没有对每次操作进行截图,所有涉及到的截图均来自网上,如果图片和文字描述对照不上,请参照文字描述过程,图片仅供参照。
1、安装 Centos7 系统
ambari 平台大都基于 linux 操作系统,由于网上基于 centors 系统的安装教程较多,所以本文基于 centos7 系统来搭建 ambari 平台。这里需要注意的是,如果自己准备的服务器内存足够大的话, 强烈建议不要选择 centos 最小化版本安装,因为最小化版本中很多配置都没有,安装之后需要先进行网络配置,否则无法通过网关,在寻找 repo 源时会导致无法找到 repo 源的错误。
我们采用全新的服务器用来搭建分布式的 hadoop 集群,通过 VMware esxi6 虚拟化服务器,将其分成5台虚拟机(smaster, bigdata1, bigdata2,bigdata3,master),其中 smaster作为集群的主节点,其余作为数据节点,搭建分布式系统。这里需要注意的是,虚拟化服务器后,将服务器配置成静态 IP 地址访问。

注:以下截图大部分来自网络,按照自身情况做改正,比如虚拟机名称、虚拟机ip地址。
2、安装 jdk 环境(所有机器)
一般 linux 自带的 jdk 或者是通过 yum 安装的 jdk 都是 openjdk1.7 版本的,可能缺乏部分功能,本文最初直接配置 linux 自带的 jdk1.7 版本,在后面的启动 ambari 服务时出现错误,所以最好自己安装 oracle jdk1.8 版本的 java 环境。配置过程如下:
(1)卸载 openjdk
rpm -qa|grep java
输出的是 java-1.7.0 的版本,应该是 java-1.7.0-openjdk 和 java-1.7.0-openjdkheadless,然后输入
rpm -e --nodeps java-1.7.0-openjdk-headless
rpm -e --nodeps java-1.8.0-openjdk
卸载掉系统自带的 jdk 环境。
(2)下载 oracle jdk 版本,并安装。
下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-
downloads-2133151.html
选择 jdk 版本 jdk-8u191-linux-x64.rpm,然后上传服务器,
安装: rpm -ivh jdk-8u191-linux-x64.rpm
安装结果如下:
在这里插入图片描述

输入 java -version 和 javac 指令查看环境是否配置好,这里需要注意,记住 java 安装路径,默认的安装路径在/usr/java/jdk1.8.0_191-amd64/,如果采用其他方式安装,也请记住 java 安装路径,在进行 ambari-server setup 时需要输入 java 安装路径。
3、修改/etc/hosts 文件(所有机器)
这里主要是为了实现可以通过名称来查找的相应的服务器。
在这里插入图片描述
修改/etc/hostname文件(所有机器)
改为相应的主机名:smaster, bigdata1, bigdata2,bigda

工作过程中撰写的部署文档,注释,文字说明详尽。 1.关于注册失败错误,查看log: ============= INFO 2017‐09‐21 10:52:33,435 security.py:178 ‐ Server certificate not exists, downloading INFO 2017‐09‐21 10:52:33,435 security.py:191 ‐ Downloading server cert from https://ambari‐test1.com:9440/cert/ca/ ERROR 2017‐09‐21 10:52:33,510 ServerAPI.py:137 ‐ POST https://ambari‐ test1.com:9441/api/v1/register failed. (SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)'),) ============ 1 2 3 4 5 6 这个错误是因为python‐2.7.5‐e58版本默认是使用ssl验证,为了解决这个问题需要关闭此验证 或者降级python版本 vi /etc/python/cert‐verification.cfg #修改的内容如下 verify=disable 第二种办法是更新openssl的版本(经测试,更新到1.1版本无效) 具体做法是 1.可以直接通过来在线更新来解决 yum upgrade openssl 2.编译源码 yum install gcc gcc‐c++ autoconf automake zlib zlib‐devel pcre‐devel #下载编译 源码需要的工具 cd /usr/local/src wget https://www.openssl.org/source/openssl‐1.0.2‐latest.tar.gz #下载源码包 tar ‐xzvf openssl‐1.0.2‐latest.tar.gz #解压 cd openssl‐1.0.2* ./config #检查配置 make && make install #编译并安装 mv /usr/bin/openssl /tmp/ #移除原有的openssl ln ‐s /usr/local/bin/openssl /usr/bin/openssl #建立软连接 注意,openssl所在目录请自行判断 注意,openssl: error while loading shared libraries: libssl.so.1.1 解决方法: 在root用户下执行: ln ‐s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1  ln ‐s /usr/local/lib64/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1  openssl version #查看openssl版本
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值