Cloudera manager:自动化脚本部署_修改cloudera manager中重启集群服务的shell加入一些自定义脚本-优快云博客

1. 实验环境

笔记本：macbook pro，32G memory
虚拟机：VirtualBox，3台 centos7 虚拟机(均最小化安装)

node1 默认为 master(或者说是server)：2 CPU，5G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.155）
node2 默认为 agent：1 CPU，2G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.156）
node3 默认为 agent：1 CPU，2G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.157）

默认所有操作，都是root 用户操作的。

2. 安装与配置虚拟机

2.1. 安装虚拟机

安装过程略…

都是最小化安装。

2.2. 配置虚拟机

3 台虚拟机都需要以下操作。

A. 修改 yum 源
为了加速资源下载，参照阿里开源镜像站操作，大致如下：

# 备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

# 下载新的CentOS-Base.repo 到/etc/yum.repos.d/
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# 之后运行yum makecache生成缓存
yum makecache

额外的操作，可以执行 yum update 更新一些系统的 package。

B. 修改为静态 IP
修改网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

# 修改 部分
BOOTPROTO=“static”
ONBOOT=“yes”

# 增加 部分
MM_CONTROLLED="no"

# ip、网关、路由需要取决于网络所处环境，这里所示的是配置 master
# 其他 agent 配置静态 ip 应该对应修改 IPADDR
IPADDR=192.168.1.155
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=8.8.8.8

# 最后重启网络
systemctl restart network

C. 配置防火墙设置
因为是实验环境，这里采取的措施会比较暴力一点，直接干掉防火墙，操作大致如下：

systemctl stop firewalld
systemctl disable firewalld

# 检查状态
systemctl status firewalld

# 大致如下即表明成果关闭防火墙
firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

D. 配置并建立虚拟机之间的免密登录
下边以 master 为例，配置节点服务器，其余 agent 需要对应的修改 HOSTNAME。

# 修改 /etc/sysconfig/network
vim /etc/sysconfig/network
# 添加内容
HOSTNAME=hadoop1

# 修改 /etc/hostname
vim /etc/hostname
# 删除原来的内容，将内容修改为
hadoop1

# 修改 /etc/hosts
vim /etc/hosts
# 添加以下内容
192.168.61.155 hadoop1
192.168.61.156 hadoop2
192.168.61.157 hadoop3

# 修改 /etc/sysconfig/selinux
vim /etc/sysconfig/selinux
# 修改以下内容
SELINUX=disabled

# 重启
reboot

建立免密码登录：

# 执行生成密钥语句，并一直默认回车
ssh-keygen -t rsa

# 将密钥拷贝给所有节点
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

3. 建立自动化部署脚本与配置脚本

配置脚本是给自动化部署脚本读取的，读取的内容是集群当中的节点的 IP 和 HOSTNAME。自动化脚本读取配置脚本之后，得到的是两个数组，数组 1 存储的是 IP 构成的数组，数组 2 存储的是 HOSTNAME 构成的数组。

需要注意的是：

在配置脚本当中，你需要将 master 节点的 IP 和 HOSTNAME 写在第一行。因为部署脚本没有实现识别哪一个是 master 节点，只是默认了第一个是 master。
除此以外，配置脚本不要书写任何多余的内容。部署脚本没有实现非关键内容识别或者匹配。
最后，这里的 master 在 cloudera manager 中也被认为是 server 或者 agent-1 所在的节点。所以，如果后