大数据平台的利器--Ambari+HDP

本文详细介绍了如何使用Apache Ambari和Hortonworks Data Platform(HDP)来配置、管理和监控Hadoop集群。从Ambari和HDP的基本概念,到集群规划、安装步骤,包括关闭防火墙、配置免密登录、安装JDK等,一步步指导完成大数据平台的搭建。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Ambari是什么

Ambari 是 Apache 软件基金会 的一个顶级项目。

Apache Ambari项目用于配置、管理和监视Apache Hadoop集群的软件,简化Hadoop管理。Ambari提供了一个直观、易于使用的Hadoop管理web UI。

但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。

用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari组成

Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI(图形用户界面),方便用户了解到集群的各种状态,并进行相应的维护。

HDP是什么

Hortonworks Data Platform (HDP)是一个用于分布式存储和处理大型多源数据集的开源框架。

hdp-architecture-diagram.png

安装步骤

一、集群规划

主机名 IP地址 功能
hadoop101 192.168.10.101 Yum源
hadoop102 192.168.10.102 Ambri Server + MySQL
hadoop103 192.168.10.103 Compute Node
hadoop104 192.168.10.104 Compute Node

二、下载安装包

HDP:

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos6-rpm.tar.gz

ambari:

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.1.0/ambari-2.6.1.0-centos6.tar.gz

HDP-UTILS:

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

三、新建虚拟机,安装CentOS

安装步骤省略

注意:磁盘空间不低于50G

四、关闭防火墙

service iptables stop
chkconfig iptables off

五、关闭SELINUX

vim /etc/selinux/config
修改其中的 SELINUX=enforcing 为 SELINUX=disabled

六、为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化)

1、查看是否启用

[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never

[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

2、禁用 编辑rc.local启动文件

[root@localhost ~]# vim /etc/rc.d/rc.local
增加下列内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

3、重启

[root@localhost ~]# reboot

七、配置aliYum源

https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.53322f708nr7q9

1、备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

3、之后运行yum makecache生成缓存

八、配置时间同步

yum -y install ntp
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值