大数据平台系列：使用ambari安装hadoop（二）

 

 

1 前言   

   Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。ambari项目的出现使得hadoop系列的组件可以在webUI中定制安装，并提供管理功能。

   上期我们演示了怎么安装ambari集群：（大数据平台系列：使用ambari安装hadoop（一）），现在使用ambari来部署hadoop组件。

   本文转自我个人的公众号：天目星    ，请大家多多关注。

请关注我的微信公众号

---

 

 

零、准备

正所谓兵马未动粮草先行，我这边使用Local Repository来安装，所以需要提前搭建存储库。（相关操作涉及到yum命令，请提前预习）

 

1、安装相关软件

安装apache服务（也可以使用其他的web服务）$ yum install httpd
安装yum组件$ yum install yum-utils createrepo

 

2、使用reposync命令同步官方源码

同步ambari

新建存放ambari源码的目录$ mkdir -p /var/www/html/ambari/centos7$ cd /var/www/html/ambari/centos7
使用reposync下载源码$ reposync -r ambari-2.7.3.0

PS1: 如果reposync发生报错，需要前往存储目录删除相应的rpm文件并使用reposync重新同步源码。

PS2: reposync -r 这个值ambari-2.7.3.0是根据官方yum源的名字下载

 

同步HDP与HDP-UTILS

新建存放HDP源码的目录$ mkdir -p /var/www/html/hdp/centos7$ cd /var/www/html/hdp/centos7
使用reposync下载源码$ reposync -r HDP-3.1.0.0$ reposync -r HDP-UTILS

 

3、生成存储库的元数据

如有报错，需要前往存储目录删除报错的文件，并使用reposync重新同步createrepo /var/www/html/ambari/centos7/ambari-2.7.3.0createrepo /var/www/html/hdp/centos7/HDP-3.1.0.0createrepo /var/www/html/hdp/centos7/HDP-UTILS-1.1.0.22

 

4、准备指向本地库的repo文件

删除官方源repo文件$ cd /etc/yum.repos.d$ rm ambari.repo hdp.repo
新建本地源repo文件vim /etc/yum.repos.d/ambari-local.repo
[ambari-2.7.3.0]name=ambari-2.7.3.0baseurl=http://192.168.159.65/ambari/centos7/ambari-2.7.3.0gpgcheck=0enabled=1
[HDP-3.1.0.0]name=HDP-3.1.0.0baseurl=http://192.168.159.65/hdp/centos7/HDP-3.1.0.0gpgcheck=0enabled=1
[HDP-UTILS-1.1.0.22]name=HDP-UTILS-1.1.0.22baseurl=http://192.168.159.65/hdp/centos7/HDP-UTILS-1.1.0.22gpgcheck=0enabled=1

 

5、更新yum源

$ yum clean all
$ yum repolistrepo id                repo name                statusHDP-3.1.0.0            HDP-3.1.0.0              201HDP-UTILS-1.1.0.22     HDP-UTILS-1.1.0.22       16ambari-2.7.3.0         ambari-2.7.3.0           13

 

---

 

 

一、使用ambari-server

1、启动

可以使用ambari-server --help查询所有命令
$ ambari-server startUsing python  /usr/bin/pythonStarting ambari-serverAmbari Server running with administrator privileges.Organizing resource files at /var/lib/ambari-server/resources...Ambari database consistency check started...Server PID at: /var/run/ambari-server/ambari-server.pidServer out at: /var/log/ambari-server/ambari-server.outServer log at: /var/log/ambari-server/ambari-server.logWaiting for server start........................................Server started listening on 8080
DB configs consistency check: no errors and warnings were found.Ambari Server 'start' completed successfully.
检查相关监听的端口$ netstat -tnlpProto Recv-Q Send-Q Local Address   State   PID/Program nametcp6      0     0   :::8441         LISTEN  2944/javatcp6      0     0   :::3306         LISTEN  902/mysqldtcp6      0     0   :::8080         LISTEN  2944/java tcp6      0     0   :::8440         LISTEN  2944/java

 

2、使用浏览器登录ambari控制台

登录账号与密码默认都是：adminhttp://YourhostIP:8080

 

 

管理ambari的用户

 

配置集群，添加需要加入ambari的节点

 

设置集群名称

 

选择需要安装HDP的版本，并设置使用本地存储库安装

填写本地的源码路径

 

添加节点

 

节点安装完毕，如报错可以点击查看原因

 

没有报错的状态

按自己的需求定制组件

本例选择了HDFS与zookeeper

 

 

 

配置相关组件的密码

 

组件的安装目录

 

组件使用的账户

 

组件的详细配置

 

组件复审，如无问题，点击"DEPLOY"

 

安装进度

 

完成后如有警告，可以点击查看原因

 

完成后我们可以进入service查看那些没有启动的服务，并重新启动它

 

选择相关service，点击start启动它

 

PS：ambari默认安装的HDFS没有启动HA（journal模式），需要自己配置

 

 

本期主要讲解ambari的安装与基本使用，其他功能，后续会再给大家演示。

 

请关注我的个人公众号