大数据之CDH 集群部署

Cloudera Manager

cloudera manager的概念

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

cloudera manager的功能

1.管理：对集群进行管理，如添加、删除节点等操作。
2.监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
3.诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
4.集成：多组件进行整合。

cloudera manager的架构

1.Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。
2.Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。
3.Management Service：由一组执行各种监控，警报和报告功能角色的服务。
4.Database：存储配置和监视信息。
5.Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）
6.Clients：是用于与服务器进行交互的接口（API和Admin Console）

环境要求

内存分配

将3台虚拟机分配好内存 建议8G、4G、4G

本次安装需要的jar包

#注意：必须是Oracle JDK、不要使用OpenJDK
jdk-8u144-linux-x64.tar.gz
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
manifest.json
mysql5.7

JDK
提取码jy7s

更改Yum源

在三台节点（所有agent的节点）上执行下载第三方依赖

更改为阿里yum源
yum search wget
yum -y install wget
yum clean all
yum makecache

配置网卡

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

配置hosts

vi /etc/hosts

配置hostname

vi /etc/hostname

关闭SELINUX和防火墙

1.临时关闭：
setenforce 0
1.修改配置文件/etc/selinux/config（重启生效）
#将SELINUX=enforcing 改为 SELINUX=disabled

#关闭防火墙
systemctl stop firewalld

#禁用防火墙
systemctl disable firewalld

#查看防火墙是否关闭
systemctl status firewalld