CDH-大数据集群部署

1.CM简介

1.1.CM简介

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

1.2.CM架构

1. Cloudera Reposilory：软件有Cloudera管理分布式存储库。（有点类似maven的中心仓库）

2. Server：负责软件安装、配置、启动和停止服务，管理服务运行的集群

3. Management service：由一组执行各种监控，警报和报告功能角色的服务

4. Database：存储配置和见识信息

5. Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机

6. clients：适用于与服务器进行交互的接口（API和Admin Console）

1.3.区别

Cloudera 的CDH和Apacha原生的Hadoop的区别如下：

1.CDH对版本的划分非常清晰，CDH共有5个版本，前三个版本已经不再更新，目前更新的两个版本CDH4和CDH5基于Hadoop2.0，CDH5基于Hadoop2.2-2.6，而原生的Apacha hadoop版本比较多，CDH相比原生Apacha Hadoop做到版本统一管理

2.CDH相比原生Hadoop在兼容性、安全性、稳定性上有较大改善，对hadoop一些bug进行了修复，支持Kerberos安全认证，更新速度快，且CDH文档完善清晰。

3.CDH支持yum包、rpm包、tar包，Cloudera Manager几种安装方式，原生的Apache Hadoop只支持tar包安装

4.提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在短时间内部署好集群

5.运维简单，提供了管理、监控、诊断、配置修改工具，管理配置方便，定位问题快速、准确、是运维工作简单高效

sqoop、kafka、flume、hdfs、kudu、HBase、object store、yarn、sentry、recordservice、spark、hive、pig、mapreduce、spark、impala、solr、kite

2.Cloudera Manager安装

2.1.系统环境准备，安装基础环境

2.1.1.安装包准备

将目录下所有包下载并上传至服务器

2.1.2.配置每台节点的hostname

hostnamectl set-hostname cm1 hostnamectl set-hostname cm2 hostnamectl set-hostname cm3

2.1.3.挂载磁盘

#所有节点均操作

格式化磁盘

mkfs.xfs -f /dev/sdb mkdir /data

将vdb挂载到/data目录上

echo '/dev/sdb /data/ xfs defaults 0 0' >> /etc/fstab mount -a

2.1.4.关闭防火墙、selinux

systemctl disable firewalld systemctl stop firewalld

setenforce 0 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

2.1.5.安装jdk

#cm1节点机器操作

cd /data/CDH tar -xf jdk-8u211-linux-x64.tar.gz mkdir -p /usr/java mv jdk1.8.0_211 /usr/java/

vim /etc/profile export JAVA_HOME=/usr/java/ export CLASSPATH=./:$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH source /etc/profile

##cm2,cm3节点创建java文件目录

mkdir -p /usr/java

#cm1节点机器操作

scp -r /usr/java/ cm2:/usr/java/ scp -r /usr/java/ cm3:/usr/java/

#cm2,cm3操作

vim /etc/profile export JAVA_HOME=/usr/java/ export CLASSPATH=./:$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH source /etc/profile

2.2.安装mysql数据库

#cm1上操作

2.2.1.下载rpm文件

前往 MySQL 官方网站，下载并安装 MySQL 官方 YUM 仓库 RPM 文件。

wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm sudo rpm -ivh mysql80-community-release-el7-3.noarch.rpm

修改RPM-GPG-KEY-mysql验证

vim mysql-community.repo ## gpgcheck=1 改为 gpgcheck=0

通过以下命令安装 MySQL。

sudo yum install mysql-server -y ## 启动mysql systemctl start mysqld systemctl enable mysqld

2.2.2.修改mysql密码

获取mysql密码

cat /var/log/mysqld.log | grep password

修改密码

mysql -uroot -p set password=password(Dtwave@2020);

#更改密码策略 生产环境不可取

set global validate_password_length=4; set global validate_password_policy=0; #修改简单好记的密码 set password=password("123456"); #修改用户权限 update user set host="%" where user="root"; #刷新配置 flush privileges；

导入数据库

source cdh_db.sql

2.2.3.拷贝JDBC驱动包到指定目录

scp -r mysql-connector-java-8.0.20.jar cm2:/usr/share/ scp -r mysql-connector-java-8.0.20.jar cm3:/usr/share/

3.安装Cloudera Manager

3.1.安装cloudera manager server

#cm1上安装

yum install -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm yum install -y cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

3.2.安装cloudera manger agent

#cm1上分发agent安装包

scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cm2:~/ scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cm3:~/

scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cm2:~/ scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cm3:~/

#cm2,cm3上安装agent服务

yum install -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm yum install -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

3.3.初始化cloudera manager 数据库表

#cm1上操作

cd /opt/cloudera/cm/schema/ /opt/cloudera/cm/schema/scm_prepare_database.sh -h 192.168.110.231 mysql scm scm 123456

文件放置在/opt/cloudera/parcel-repo/目录下以后，在后续的界面安装各个服务时，在目录中找到版本文件，可以自动匹配到安装文件，无需连外网下载。

cp /data/CDH/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/ cp /data/CDH/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha /opt/cloudera/parcel-repo/

3.4.启动server、agent

systemctl start cloudera-scm-server systemctl enable cloudera-scm-server

注意 启动可能会报缺少文件，文件权限不足，数据库连接失败就是数据库的java包版本太低

访问localhost：7180

进去之后第一个欢迎一路默认，基本上选试用60天 

一定要配置时间同步。不然这一步会报错