Amabri离线安装

本文档详细介绍了在CentOS系统上离线安装Ambari 2.4.2和HDP 2.5.3的整个过程,包括前置条件、配置本地源、安装MySQL、设置JDK、数据库配置以及集群搭建等关键步骤。确保所有主机间免密并关闭防火墙,通过本地HTTP服务器提供安装资源,使用yum安装Ambari Server,并配置Ambari数据库。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Amabri离线安装文档

(离线在于,ambari的下载文件已经下载好)

前置条件

1、 JDK 1.7+

2、 python 2.6 /2.7 CentOS 自带2.7

3、 mysql (详见脚本 installmysql.sh)

3.1执行脚本前需要 dos2unix 脚本( dos2unix installmysql.sh )

4、 准备3+台主机 安装好JDK,配好环境变量。(最少需要3台主机)

5、 master 对所有主机进行免密

5.1:需要对100自己做免密  (master节点操作)

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

3.2:master与salver做免密

   将master上的公钥发送到salver上

scp id_dsa.pubroot@keduox2:/tmp/  

 ( 再master节点的 .ssh文件夹下找到id_dsa.pub )

   在101上将公钥放在指定位置,但是默认情况下是没有.ssh文件,需要先生成.ssh文件。(slaves节点操作)

ssh-keygen-t dsa -P '' -f ~/.ssh/id_dsa

    cat/tmp/id_dsa.pub >> ~/.ssh/authorized_keys

 

注:本文档针对以下版本,不同版本直接有些许调整

 

1、时间同步(略)可以以后再补

映射主机地址  (所有主机都需要操作)

vi /etc/hosts

192.168.200.120 master

192.168.200.121 slaves

192.168.200.122 slaves

……

       scp分发到其他节点上

2、关闭防火墙

systemctl disable firewalld
systemctl stop firewalld 

 

3、制作本地源

 

3.1安装 ApacheHTTP 服务器
安装HTTP 服务器,允许 http 服务通过防火墙(永久)。

yum install -y httpd
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
 

添加Apache 服务到系统层使其随系统自动启动。

systemctl start httpd.service
systemctl enable httpd.service
 

 

 

3.2 安装本地源制作相关工具

yum install -y yum-utilscreaterepo

 

3.3下载安装资源
  下载 Ambari2.4.2 , HDP 2.5.3 的安装资源,本次安装是在Centos7 上,只列出centos7的资源,其他系统的请现在对用系统的资源。

需要下载标红的两个文件,其余的三个文件已经下载好了在文件夹中查看,如果需要其他版本也最好先下载好再使用,因为在ambari在线下载很慢,并容易失败)

yum install -ywget

Ambari 2.4.2 下载资源:

wgethttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz     (已手动下载)

HDP 2.5.3 下载资源:

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/hdp.repo
wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz             已手动下载
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz已手动下载

 

3.4httpd网站根目录,默认是即/var/www/html/,创建目录ambari

并且将ambari-2.4.2.0HDP-2.5.3.0HDP-UTILS的压缩包解压到/var/www/html/ambari目录。

cd /var/www/html/
mkdir ambari
cd ambari/
tar -zxvf ambari-2.4.2.0-centos7.tar.gz.tar -C /var/www/html/ambari/
tar -zxvf HDP-2.5.3.0-centos7-rpm.tar.gz.tar -C /var/www/html/ambari/
tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari/

 验证http网站是否可用,可以使用links命令或者浏览器直接访问下面的地址:

yum install -y links

也可以在其他主机上用浏览器打开

http://192.168.200.120/ambari/

 

3.5配置ambari、HDP、HDP-UTILS的本地源
  首先下载上面资源列表中的相应repo文件,修改其中的URL为本地的地址,相关配置如下:

 

vi ambari.repo

#VERSION_NUMBER=2.4.2.0-136

 

[Updates-ambari-2.4.2.0]

name=ambari-2.4.2.0 - Updates

baseurl=http:// 192.168.200.51/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/

gpgcheck=1

gpgkey=http://192.168.200.51/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

vi hdp.repo

#VERSION_NUMBER=2.5.3.0-37

[HDP-2.5.3.0]

name=HDP Version - HDP-2.5.3.0

baseurl=http://192.168.200.51/ambari/HDP/centos7

#如果提升xml没找到 说明版本不对

#手动找到xml文件把路径配置到上面

gpgcheck=1

gpgkey=http://192.168.200.51/ambari/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

 

[HDP-UTILS-1.1.0.20]

name=HDP-UTILS Version - HDP-UTILS-1.1.0.20

baseurl=http://192.168.200.51/ambari/HDP-UTILS-1.1.0.20/repos/centos7/

gpgcheck=1

gpgkey=http://192.168.200.51/ambari/HDP-UTILS-1.1.0.20/repos/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

 将上面的修改过的源放到/etc/yum.repos.d/下面。

mv ambari.repo /etc/yum.repos.d/
mv hdp.repo /etc/yum.repos.d/

 

  然后更新yum

 yum clean all
 yum list update
 yum makecache
 yum repolist

 

 

4、安装mysql (略)

脚本安装,在文件夹中有安装文件和执行脚本。

执行脚本前需要 dos2unix 脚本( dos2unix installmysql.sh ),此步骤的意义在余window系统与linux系统的文本存在不同,需要通过dos2unix 命令来进行转换。

4.1

安装完成后创建ambari数据库及用户,登录root用户执行下面语句:(红色秘密可以自己改)

create database ambari character set utf8 ; 
CREATE USER 'ambari'@'%'IDENTIFIED BY '1234';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

  如果要安装Hive,再创建Hive数据库和用户再执行下面的语句:

create database hive character set utf8 ; 
CREATE USER 'hive'@'%'IDENTIFIED BY '1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

  如果要安装Oozie,再创建Oozie数据库和用户再执行下面的语句:

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY '1234';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

  安装mysqljdbc 驱动:

yum install -y mysql-connector-java

 

5.进行安装Ambari
5.1 安装Ambari2.4.2
5.1.1安装Ambari

yum install -y ambari-server

(如果提示找不到KEY,则执行如下命令:rpm --import/var/www/html/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

5.1.2配置Ambari

ambari-serversetup

  下面是配置执行流程,按照提示操作:
1.检查SELinux是否关闭,如果关闭不用操作。(我配置时没操作)

Using python  /usr/bin/python

Setupambari-server

CheckingSELinux...

SELinux status is'disabled'

2.提示是否自定义设置。输入:y

Customize useraccount for ambari-server daemon [y/n] (n)? y

3.ambari-server 账号。默认是root  也可以输入:ambari(需要另外创建)

Enter user accountfor ambari-server daemon (root):ambary

Adjustingambari-server permissions and ownership...

4.检查防火墙,如果关闭则不用操作。

Checking firewallstatus...

Redirecting to/bin/systemctl status  iptables.service

 

  5.设置JDK。输入:3。

Checking JDK...Doyou want to change Oracle JDK [y/n] (n)? y

[1] Oracle JDK 1.8+ Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7+ Java Cryptography Extension (JCE) Policy Files 7 [3] Custom JDK

==============================================================================

Enter choice (1):3

 

6.如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入:

/opt/jdk1.8.0_144  (填上你的$JAVA_HOME)

 

WARNING: JDK mustbe installed on all hosts and JAVA_HOME must be valid on all hosts.WARNING: JCEPolicy files are required for configuring Kerberos security. If you planto use Kerberos,please make sure JCE Unlimited Strength Jurisdiction PolicyFiles are valid on all hosts.Path to JAVA_HOME:/opt/java/jdk1.8.0_121Validating JDK on Ambari Server...done.Completingsetup...

7.数据库配置。选择:y

Configuringdatabase...Enter advanced database configuration [y/n] (n)? y

8.选择数据库类型。输入:3

 

 Configuring database...==============================================================================

Choose one of thefollowing options:

[1] - PostgreSQL(Embedded)

[2] - Oracle

[3] - MySQL

[4] - PostgreSQL

[5] - MicrosoftSQL Server (Tech Preview)

[6] - SQL Anywhere==============================================================================

Enter choice (3):3

 

9.设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。

Hostname(localhost):

Port ():

Database name(ambari):

Username (ambari):

Enter DatabasePassword (1234):

10.提示必须安装MySQL JDBC,回车结束ambari配置。

1 WARNING: Before starting Ambari Server, youmust copy the MySQL JDBC driver JAR file to /usr/share/java.

Press<enter> to continue.

11.Ambari数据库脚本导入到数据库。
  如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambarisql脚本。用Ambari用户(上面设置的用户)登录mysql

mysql -uambari -p1234

use ambari

source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

 

 

5.1.3启动Amabri
  执行启动命令,启动Ambari服务:

ambari-server start

  成功启动后在浏览器输入Ambari地址:

http://master:8080/

出现登录界面,默认管理员账户登录,账户:admin 密码:admin

 

6 开始搭建集群

6.11添加集群

选择Launch Install Wizard

6.12 给集群起名

 

6.1.3 选择HDP版本 本文档用的是2.5.3

 

 

CentOS7对应 rehat7版本

填入

本地源配置的 HDP 地址

下一步

6.1.4 集群主机配置

上面填集群 主机名

下面填入master的免密私钥

 

等待完成……..

 

完成状态后  可以点击下一步

 

6.1.5 选择安装组件  勾选

hdfs mr zk 等等


 

6.1.6 分配各节点

       自己组合

 


下一步下一步 按默认配置

等待完成

完美状态:全部都是绿

不完美状态:有警告,可以先下一步后再进行处理

 

对红色状态组件进行单独启动,

 

最终结果  全绿


 

7、添加新主机进入集群

 

7.1.1与创建集群时一样 填入主机名 和免密私钥

 完成后    下一步

7.1.2 勾选组建 下一步 下一步

 

7.1.3 等待安装完成

 


查看


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值