大数据平台CDH6.3.2安装部署全过程

一、CDH介绍

是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面
CDH优点
版本划分清晰
更新速度快
支持Kerberos认证

二、 安装环境

2.1 虚拟机版本：VMware Workstation 15 Pro

2.2 Linux CentOS-7.3 台

操作系统 CPU 内存 硬盘 IP 主机名
CentOS-7.3 2核 4G 100G 192.168.179.2 CDH01
CentOS-7.3 2核 4G 100G 192.168.179.3 CDH02
CentOS-7.3 2核 4G 100G 192.168.179.4 CDH03

2.3 安装包准备:

(1)Cloudera Manger下载
cloudera-manager-server-6.3.1-1466458.el7.x86_64
cloudera-manager-agent-6.3.1-1466458.el7.x86_64
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64
(2)CDH下载
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
RPM-GPG-KEY-cloudera
(3)Mysql5.7.35
mysql-5.7.35-linux-glibc2.12-x86_64.tar
mysql-connector-java-5.1.47.jar
(4)JDK1.8.0
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

三、 环境配置

3.1 网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

重启网络

systemctl restart network

网关配置

vi /etc/resolv.conf

添加

nameserver 114.114.114.114
nameserver 8.8.8.8

3.2 防火墙配置

关闭并禁用防火墙（所有节点）
关闭防火墙：systemctl stop firewalld.service
禁止开机启动：systemctl disable firewalld.service

3.3 主机配置

修改主机名（所有节点）

hostnamectl set-hostname CDH01  #改为CDH01主机名，自定义

设置主机名映射（所有节点）

vi /etc/hosts

添加：

192.168.179.2 	CDH01
192.168.179.3 	CDH02
192.168.179.4 	CDH03

selinux关闭（所有节点）

vi /etc/selinux/config 
SELINUX=disabled

停止networkmanager服务（所有节点）
CentOS系统有两种网络管理工具NetworkManager和network。如果两种都配置会引起冲突，而且NetworkManager在网络断开的时候，会清理路由，如果一些自定义的路由，没有加入到NetworkManager的配置文件中，路由就被清理掉，网络连接后需要自定义添加上去

systemctl stop NetworkManager.service
systemctl disable NetworkManager.service

重启网络：systemctl restart network

禁用透明大页面(所有节点，重启生效)

vim /etc/rc.local

#加入以下内容

if test -f?/sys/kernel/mm/transparent_hugepage/enabled;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f?/sys/kernel/mm/transparent_hugepage/defrag;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/defrag
fi
 chmod +x /etc/rc.d/rc.local

#验证

cat /etc/rc.d/rc.local

修改Linux swappiness(所有节点)
永久修改：

vi /etc/sysctl.conf 
vm.swappiness=0

使参数生效：

sysctl -p

3.4 JDK配置

上传JDK安装文件：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm，使用以下安装JDK