Ambari是什么
Ambari 是 Apache 软件基金会 的一个顶级项目。
Apache Ambari项目用于配置、管理和监视Apache Hadoop集群的软件,简化Hadoop管理。Ambari提供了一个直观、易于使用的Hadoop管理web UI。
但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。
用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
Ambari组成
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI(图形用户界面),方便用户了解到集群的各种状态,并进行相应的维护。
HDP是什么
Hortonworks Data Platform (HDP)是一个用于分布式存储和处理大型多源数据集的开源框架。
安装步骤
一、集群规划
主机名 | IP地址 | 功能 |
---|---|---|
hadoop101 | 192.168.10.101 | Yum源 |
hadoop102 | 192.168.10.102 | Ambri Server + MySQL |
hadoop103 | 192.168.10.103 | Compute Node |
hadoop104 | 192.168.10.104 | Compute Node |
二、下载安装包
HDP:
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos6-rpm.tar.gz
ambari:
HDP-UTILS:
三、新建虚拟机,安装CentOS
安装步骤省略
注意:磁盘空间不低于50G
四、关闭防火墙
service iptables stop
chkconfig iptables off
五、关闭SELINUX
vim /etc/selinux/config
修改其中的 SELINUX=enforcing 为 SELINUX=disabled
六、为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化)
1、查看是否启用
[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
2、禁用 编辑rc.local启动文件
[root@localhost ~]# vim /etc/rc.d/rc.local
增加下列内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
3、重启
[root@localhost ~]# reboot
七、配置aliYum源
https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.53322f708nr7q9
1、备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
3、之后运行yum makecache
生成缓存
八、配置时间同步
yum -y install ntp