大数据技术之Cloudera Manager安装

第1章 Cloudera Manager 

1.1 cloudera manager的概念

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

 

1.2 cloudera manager的功能

1) 管理：对集群进行管理，如添加、删除节点等操作。

2) 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3) 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4) 集成：多组件进行整合。

 

1.3 cloudera manager的架构

1) Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。

2) Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。

3) Management Service：由一组执行各种监控，警报和报告功能角色的服务。

4) Database：存储配置和监视信息。

5) Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）

6) Clients：是用于与服务器进行交互的接口（API和Admin Console）

第2章 环境要求

1.1 内存分配

将3台虚拟机分配好内存 

1.2 JDK

安装JDK配置环境变量

1.3 安装配置mysql

在cdh1上安装mysql，配置相应的用户权限。

1.4 关闭SELINUX

1) 临时关闭： 

setenforce 0

2) 修改配置文件/etc/selinux/config（重启生效）

将SELINUX=enforcing 改为SELINUX=disabled

1.5 ssh免密登录

将cdh1，cdh2，cdh3相互之间配置免密登陆。

1.6 下载第三方依赖

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

1.7 创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（2）hive数据库 

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

第3章 CM安装部署

CM下载地址：http://archive.cloudera.com/cm5/cm/5/

离线库下载地址：http://archive.cloudera.com/cdh5/parcels

 

注：以下所有操作均使用root用户

2.1 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

[root@cdh1 module]# mkdir /opt/module/cloudera-manager

[root@cdh1 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

2.2 创建用户cloudera-scm（所有节点）

[root@cdh1 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

--system 创建一个系统账户

--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

 

注意：

Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。

 

2.3 配置CM Agent

修改文件/opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/ config.ini

[root@cdh1 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

server_host=cdh1

 

2.4 配置CM的数据库

1. 拷贝mysql jar文件到目录 /usr/share/java/

[root@cdh1 share]# mkdir /usr/share/java/

[root@cdh1 cm-5.4.3]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@cdh1 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

2. 在mysql中创建cm库

[root@cdh1 cm-5.4.3]# /opt/module/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh1 -uroot -p00000000 --scm-host cdh1 scm scm scm

-h：Database host

-u：Database username

-p：Database Password

--scm-host：SCM server's hostname

 

2.5 分发cloudera-manager

[root@cdh1 module]# scp -r /opt/module/cloudera-manager/ cdh2:/opt/module/

[root@cdh1 module]# scp -r /opt/module/cloudera-manager/ cdh3:/opt/module/

 

2.6 创建Parcel-repo 目录

1. Servre 节点创建目录/opt/cloudera/parcel-repo

[root@cdh1 module]# mkdir -p /opt/cloudera/parcel-repo

[root@cdh1 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.拷贝下载文件到/opt/cloudera/parcel-repo

（1）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

（2）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1:需改名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

（3）manifest.json

[root@cdh1 cm-5.4.3]# mv /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

 

[root@cdh1 module]# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha /opt/cloudera/parcel-repo/

 

[root@cdh1 module]# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel /opt/cloudera/parcel-repo/

 

[root@cdh1 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

 

3.在Agent 节点（cdh1，cdh2，cdh3）创建目录/opt/cloudera/parcels

[root@cdh1 module]# mkdir -p /opt/cloudera/parcels

[root@cdh1 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@cdh2 module]# mkdir -p /opt/cloudera/parcels

[root@cdh2 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@cdh3 module]# mkdir -p /opt/cloudera/parcels

[root@cdh3 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

2.7分发Parcel-repo

[root@cdh1 opt]# scp -r /opt/cloudera/ cdh2:/opt/

[root@cdh1 opt]# scp -r /opt/cloudera/ cdh3:/opt/   

 

2.8 启动和关闭CM Server&Agent 服务

服务节点：cdh1

[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [确定]

工作节点：cdh1\cdh2\cdh3

[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

 

[root@cdh2 module]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

 

[root@cdh3 module]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@cdh1 init.d]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

查看被占用则表示安装成功了！！！

访问http://cdh1:7180，（用户名、密码：admin）

 

关闭：

服务节点：cdh1

[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server：                                 [确定]

工作节点：cdh1\cdh2\cdh3

[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

 

第4章 常见错误问题：

1.1 如果agent启动失败，去哪看错误

[root@cdh1 cloudera-scm-agent]

/opt/module/cloudera-manager/cm-5.4.3/log/cloudera-scm-agent里的

cloudera-scm-agent.out