最新版Ambari2.75安装及HDP3.1.5集群搭建

原创

已于 2022-03-23 17:36:15 修改 · 1w 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #ambari #centos #kafka #hadoop

于 2021-05-06 10:14:11 首次发布

本文档详细介绍了如何使用Ambari搭建HDP3.1.5集群，包括环境准备、MySQL安装、配置本地yum源、安装Ambari Server以及通过Ambari搭建HDP集群的每个步骤。过程中涉及了网络配置、JDK安装、免密登录、防火墙设置、SELinux禁用、时钟同步、数据库设置等多个环节，适合需要搭建Hadoop集群的读者参考。

最近打算使用ambari搭建集群，却突然发现Cloudera相关软件包括HDP、CDH都收费了，都需要有效的订阅，并且只能通过付费墙进行访问（官宣地址：关于Cloudera软件的访问获取）。还好笔者千辛万苦在内外网找了两天才搞到最新版ambari2.7.5和HDP3.1.5的二进制安装包。以下详细介绍ambari的安装，及使用ambari搭建HDP集群的详细步骤，以及遇到的各种问题；文中有提供ambari2.7.5和HDP3.1.5的二进制安装包的百度网盘下载地址。

Ambari2.7.5和HDP3.1.5二进制安装包下载地址：ambari2.7.5百度网盘下载地址.txt_ambari2.7.5-Hadoop工具类资源-优快云下载

前言

这次集群安装使用5台机器，分别是hadoop01、hadoop02、hadoop03、hadoop04、hadoop05。其中，hadoop01为ambari server所在节点，也是mysql所在节点，也是下文提到的镜像服务器。

1、环境准备

1.1安装必备软件

yum -y install gcc gcc-c++ kernel-devel libtirpc-devel

yum -y install rpm-build

yum -y install net-tools

yum -y install openssl openssl-devel patch

yum -y install wget

yum install -y bash-completion

yum install -y unzip zip

1.2安装ssh

yum install -y openssh-clients

yum install -y openssh-server

#启动

/usr/sbin/sshd -D &

1.3内存需要

Number of hosts	Memory Available	Disk Space
1	1024 MB	10 GB
10	1024 MB	20 GB
50	2048 MB	50 GB
100	4096 MB	100 GB
300	4096 MB	100 GB
500	8096 MB	200 GB
1000	12288 MB	200 GB
2000	16384 MB	500 GB

可以使用以下命令查看：

free -m

1.4最大打开文件限制

检查当前最大打开文件限制

ulimit -Sn

ulimit -Hn

如果小于10000，则需设置

ulimit -n 10000

1.5配置全限定域名FQDN

（1）配置集群每台服务器的hosts

vim /etc/hosts

#这两个不能删

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

#第一列：IP，第二列：域名，第三列：主机名

192.168.100.151 hadoop01.com hadoop01

192.168.100.152 hadoop02.com hadoop02

192.168.100.153 hadoop03.com hadoop03

192.168.100.154 hadoop04.com hadoop04

192.168.100.155 hadoop05.com hadoop05

（2）设置每台服务器的hostname