数据治理从理论到实战系列(三)——cdh安装

数据治理从理论到实战系列

提示：数据治理实战需要用到统一版本大数据开源组件，为了避免版本混乱导致的安装使用异常，我们先在这章节插入到了cdh安装

---

---

前言

提示：即便已有大数据开源组件，后续的版本不一问题可能会比较难处理，所以还是需要统一版本！！！

---

一、cdh是什么？

CDH是一个强大的商业版数据中心管理工具(6.3以下能免费使用)。
相比原生安装：
1.版本管理做的好
2. 版本更新速度快
3.集群搭建效率高
4.安全性高
5.支持多种安装方式（Cloudera Manager方式）

二、部署本地Linux服务器

在搭建cdh之前，我们插入一个章节部署本地Linux服务器，详情跳转到上一章

三、部署cdh

1.部署规划

node01 192.168.43.181 CentOS 7.x master 12G 内存 50G磁盘
node02 192.168.43.182 CentOS 7.x slave 4G 内存 40G硬盘
node03 192.168.43.183 CentOS 7.x slave 4G 内存 40G硬盘

2.优化文件系统

vim /etc/fstab
将defaults 改成 noatime

3.关闭 SWAP

[root@]# echo 1 >/proc/sys/vm/swappiness #执行命令
[root@]# swapoff -a && swapon -a # 执行
[root@]# sysctl -p # 执行
[root@~]# vim /etc/sysctl.conf #修改文件 将vm.swappiness改为 1 没有则新增
vm.swappiness = 1

4.禁用透明大页面

[root@]# echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/rc.d/rc.local
[root@]# echo ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/rc.d/rc.local

5.MySQL驱动移动到目录下

[root@~]# mkdir -p /usr/share/java/ #创建一个存放 Driver包的目录
[root@ ~]# cd mysql-connector-java-5.1.46 #进入目录
[root@ ~]# cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar #驱动改名 放到这个目录下 供CDH使用

6.cdh服务配置

CM共有三个服务 daemons 、agent、server
主节点(弄de01)需安装 daemons 、agent、server
node02/03 需要安装 daemons 、agent

7.cdh安装

node01安装
yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
node02 node03安装
yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

该处使用的url网络请求的数据。

8.修改 CM 配置

[root@zzq-01 ~]# vim /etc/cloudera-scm-server/db.properties #修改连接mysql数据库的配置 改为如下内容即可
com.cloudera.cmf.db.host=node01
com.cloudera.cmf.db.name=root
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL

8.修改 CM 配置

vim /etc/cloudera-scm-agent/config.ini #修改为server所在服务器 即 node01
server_host=node01

9.前移文件

迁移文件
将下面的三个文件拷贝到 制定目录下 /opt/cloudera/parcel-repo
[root@zzq-01 ~]# cp ./CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /opt/cloudera/parcel-repo/
[root@zzq-01 ~]# cp ./CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /opt/cloudera/parcel-repo/
[root@zzq-01 ~]# cp ./manifest /opt/cloudera/parcel-repo/
#注意需要将
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 文件名修改 去掉1
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha

10.启动服务

到此安装过程告一段落 ，开始启动服务
#主节点执行
systemctl start cloudera-scm-server #主节点启动 server服务
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log #查看server启动日志 确保没有错误
如果无报错 继续进行
#所有节点执行
systemctl start cloudera-scm-agent
tail -f /var/log/cloudera-scm-server/cloudera-scm-agent.log #查看agent启动日志 确保没有错误
启动无报错的话 就可以访问地址 192.168.1.201:7180 了（主节点的ip地址，7180端口） 账号密码是admin/admin

---