大数据平台的利器--Ambari+HDP

最新推荐文章于 2023-09-25 11:02:58 发布

原创

最新推荐文章于 2023-09-25 11:02:58 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#ambari #大数据 #cloudera #hadoop

本文详细介绍了如何使用Apache Ambari和Hortonworks Data Platform（HDP）来配置、管理和监控Hadoop集群。从Ambari和HDP的基本概念，到集群规划、安装步骤，包括关闭防火墙、配置免密登录、安装JDK等，一步步指导完成大数据平台的搭建。

Ambari是什么

Ambari 是 Apache 软件基金会的一个顶级项目。

Apache Ambari项目用于配置、管理和监视Apache Hadoop集群的软件，简化Hadoop管理。Ambari提供了一个直观、易于使用的Hadoop管理web UI。

但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。

用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari组成

Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI（图形用户界面），方便用户了解到集群的各种状态，并进行相应的维护。

HDP是什么

Hortonworks Data Platform (HDP)是一个用于分布式存储和处理大型多源数据集的开源框架。

安装步骤

一、集群规划

主机名	IP地址	功能
hadoop101	192.168.10.101	Yum源
hadoop102	192.168.10.102	Ambri Server + MySQL
hadoop103	192.168.10.103	Compute Node
hadoop104	192.168.10.104	Compute Node

二、下载安装包

HDP：

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos6-rpm.tar.gz

ambari：

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.1.0/ambari-2.6.1.0-centos6.tar.gz

HDP-UTILS：

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

三、新建虚拟机，安装CentOS

安装步骤省略

注意：磁盘空间不低于50G

四、关闭防火墙

service iptables stop
chkconfig iptables off

五、关闭SELINUX

vim /etc/selinux/config
修改其中的 SELINUX=enforcing 为 SELINUX=disabled

六、为提升hadoop性能，hadoop环境上要求关闭Transparent Hugepages（THP，页面内存透明化）

1、查看是否启用

[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never

[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

2、禁用　编辑rc.local启动文件

[root@localhost ~]# vim /etc/rc.d/rc.local
增加下列内容：
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

3、重启

[root@localhost ~]# reboot

七、配置aliYum源

https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.53322f708nr7q9

1、备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

3、之后运行`yum makecache`生成缓存

八、配置时间同步

yum -y install ntp

最低0.47元/天解锁文章