Apache开源顶级项目Ambari搭建HDP大数据平台

最新推荐文章于 2025-05-30 16:11:46 发布

置顶

wunanliu

最新推荐文章于 2025-05-30 16:11:46 发布

阅读量5.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据 Linux 文章标签： Hadoop HDP Ambari Hive

本文链接：https://blog.youkuaiyun.com/weixin_38822045/article/details/96129623

搭建Hortonworks Data Platform大数据平台

Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.5.1。就 Ambari 的作用来说，就是创建、管理、监视Hadoop 的集群，但是这里的 Hadoop 是广义，包括的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等）。用一句话来说，Ambari 就是为了让Hadoop以及相关的大数据软件更容易使用的一个工具。

Ambari 现在所支持的平台组件也越来越多，例如流行的 Spark，Storm 等计算框架，以及资源调度平台 YARN 等，我们都能轻松地通过 Ambari 来迚行部署。Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 AmbariAgent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的GUI，方便用户了解到集群的各种状态，并进行相应的维护。

温馨提示：安裝此平台，建议先将文章末尾的7大坑先看一遍，先填坑，再干活，避免中途各种崩溃

一、安装默认使用root账户登录虚拟机，避免权限问题导致不成功。

二、环境准备

操作系统： CentOS7 64 位

JDK：1.8.0_191 64 位

Ambari：2.2.1.0

HDP：2.4.0.0-centos7

HDP-UTILS：1.1.0.20

三、下载软件依赖包到本地(不要使用Wget在虚拟机中下载，速度很慢)

Ambari:
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos7.tar.gz

HDP-UTILS：
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

HDP-2.4.0：
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz

ps: https://docs.hortonworks.com 去这个地址下寻找自己想要的东西

四、安装MySql

因为Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。

Mysql服务安装文档： https://blog.youkuaiyun.com/weixin_38822045/article/details/9144725

五、Mysql安装完毕后，第一步，安装MySql驱动

安装Mysql Jdbc 驱动：

yum install -y mysql-connector-java

5.1、创建必要的Ambari数据库和数据库用户
安装完成后创建Ambari数据库及用户，登录root用户执行下面语句：

create database ambari character set utf8;

CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari-1234';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

FLUSH PRIVILEGES;

5.2、如果要安装Hive，再创建Hive数据库和用户再执行下面的语句：

create database hive character set utf8;

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive-1234';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

FLUSH PRIVILEGES;

5.3、如果要安装Oozie，再创建Oozie数据库和用户再执行下面的语句：

create database oozie character set utf8;

CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie-1234';

GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

FLUSH PRIVILEGES;