CDH 6.2.0安装

CDH安装文档

1. 概述
   本文档主要内容为 cdh 生态环境各个应用搭建部署文档，CDH包括zookper、hadoop、saprk、hive、scala。

2. 软件环境
   集群软件环境确定如下：
   软件名称 版本
   OS Centos 7.3
   spark 2.4.0-cdh6.2.1
   python python 2.7.13
   java 1.8
   hadoop 3.0.0-cdh6.2.1
   mariadb 5.5.64
   hive hive-2.1.1-cdh6.2.1
   scala scala-2.11.12

3. 集群情况
   测试集群:
   主机名 业务IP地址 角色
   K8s-1 172.16.93.11 HDFSBalancer DFSZKFailoverController HDFSHttpFS NameNode HDFSNFSGateway HIVEGateway HIVEMetastoreServer HIVEServer2 HIVEWebchatServer ActiveMonitor AlertPublish EventServer HostMonitor ServiceMonitor SparkGateway SparkHistoryServer JobHistoryServer Master ResourceManager Zookeeper
   K8s-2 172.16.93.12 HDFSDataNode DFZKFailoverController NameNode HiveGateway SparkGateway NodeManager
   K8s-3 172.16.93.13 DataNode JournalNode HiveGateway SparkGateway NodeManager
   K8s-4 172.16.93.14 DataNode JournalNode HiveGateway SparkGateway NodeManager
   K8s-5 172.16.93.15 DataNode JournalNode HiveGateway SparkGateway NodeManager

JournalNode：hadoop元数据同步存储节点。
Namnode：hadoop 主节点，负责集群数据存储管理。
DataNode：hadoop 数据节点，存储hadoop数据块。
DFSZKFailoverController：依赖zookeeper的HA组件，负责namenode的active/standby
ResourceManager：Yarn 资源调度，管理NodeManager节点
NodeManager：是ResourceManager的代理，监控本身节点资源使用情况，并向RM汇报
Master: spark主节点，spark 资源调度，管理Worker节点。（采用spark by yarn，无 master。）
Worker: spark工作节点，spark 任务执行。（采用spark by yarn，无worker。）
QuorumPeerMain：zookeeper进程，元数据同步节点通信管理。

4. CDH平台搭建
   4.1配置host（所有机器）
   每个节点编辑/etc/hosts文件，添加如下内容
   172.16.93.11 k8s-1
   172.16.93.12 k8s-2
   172.16.93.13 k8s-3
   172.16.93.14 k8s-4
   172.16.93.15 k8s-5

4.2关闭防火墙（所有机器）

#stop and disable firewalld service
systemctl stop firewalld
systemctl disable firewalld
#disable selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config
setenforce 0

4.3配置系统参数（所有机器）

sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

4.4配置免密

ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 12 15`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

4.5安装java sdk（所有机器）

rpm -qa |