CDH数仓项目(一) —— CDH安装部署搭建详细流程

0 说明

本文以CDH搭建数据仓库，基于三台阿里云服务器从零开始搭建CDH集群，节点配置信息如下：

节点	内存	安装服务角色
chen102	16G	cloudera-scm-server
chen103	8G	cloudera-scm-agent
chen104	8G	cloudera-scm-agent

上传需要用到的安装包：
① CDH安装包，百度云分享如下：

链接：https://pan.baidu.com/s/1N9QBYxpgGOKtEeaw7Y3bpQ 提取码：o73t

② JDK(JDK8+)，百度云连接

链接：https://pan.baidu.com/s/1BGw-y2sDLeqtA8ZSlf1JZw
提取码：08c8

1 前期准备

1.1 配置集群hosts文件

配置集群hosts文件，并将集群节点和ip映射配置到hosts文件中。

1.2 打通免密

1. 生成私钥和公钥

ssh-keygen -t rsa

2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id chen102
ssh-copy-id chen103
ssh-copy-id chen104

在其他节点重复上面操作，即可

1.3 安装JDK并配置环境变量

注：CDH只能识别/usr目录下的java,这里需要将java安装在/usr目录下，这里不再赘述

1.4 安装Mysql

只需在chen102节点上安装
1）卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2）下载msql5.7 yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

3）安装yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm