cm+cdh集群配置

1.集群规划

3台主机 版本TencentOS Server2.4

2.部署前准备工作

1.修改hosts文件,添加主机映射(集群每个主机的，新增自后需要修改)
vim /etc/hosts

3.配置新用户免密(待完善，大家自己找教程吧)

ssh-keygen -t rsa  # 生成
ssh-copy-id # 配置免密
ssh-copy-id -i ~/.ssh/id_rsa.pub alice@kf-191-107 # 复制到用户

4.时钟同步(==注意123端口是否能够连通==)

yum -y install ntp                   #安装ntp
vim /etc/ntp.conf                    #修改配置 设置
#注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器  我使用的是阿里云的NTP服务器
server ntp1.aliyun.com iburst
#在其他节点上把ntp指向master服务器地址即可
server 192.168.158.10 iburst
#安装完成后设置ntp开机启动并启动ntp
systemctl enable ntpd
systemctl start ntpd
#查看状态
systemctl status ntpd

5.mysql 安装
版本不要超过5.x,除非你的cm版本更高

#官网下载安装包，版本低一些

6.关闭防火墙
7.关闭selinux

vi /etc/selinux/config
#修改配置项：SELINUX=disabled，默认：#SELINUX=enforcing

8.安装需要的包

yum install -y bind-utils libxslt cyrus-sasl-plain  portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse php-devel php-pear httpd-devel krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel openldap-devel python-devel python-simplejson sqlite-devel

9.上传驱动到/usr/share/java 这是默认路径

10.安装java(就用yum安装吧 不然老是版本不适配,真是醉了)

yum -y install java-1.8.0-openjdk
yum install java-1.8.0-openjdk-devel.x86_64 #扩展包 

3.cm安装

3.1.解压安装

tar -xvf cm6.3.1-redhat7.tar 
mv cm6.3.1 cm6
cd /opt/soft/cm6/RPMS/x86_64
#所有机器都要安装
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
#仅sever
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
#所有agent
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

3.2.初始化数据库

#数据库不在一个机器上就用远程登录命令写 参数分别是: 数据库 用户名 密码 ,跟后面db.properties保持一致
cd /opt/cloudera/cm/schema
./scm_prepare_database.sh mysql -uroot -proot cmf cmf cmf

3.3.修改agnet配置文件

vim /etc/cloudera-scm-agent/config.ini 
# Hostname of the CM server.
# 修改server_host=主机名

3.4.修改server配置文件

vim /etc/cloudera-scm-server/db.properties
#修改元数据库信息

4.上传离线parcel-6.3.2

ps:有的会sha1结尾的文件，名字把1去掉(下图第二个)

/opt/cloudera/parcel-repo  #server机器
# 启动服务后，等待.torrent文件出现就代表parcel识别到了，然后就可以开始配置集群了

5.启动

# server
systemctl status cloudera-scm-server
systemctl start cloudera-scm-server
systemctl stop cloudera-scm-server

#agent
systemctl start cloudera-scm-agent
systemctl status cloudera-scm-agent
systemctl stop cloudera-scm-agent

6.开始配置集群

6.1 配置parcel

6.2 点配置，修改为5分钟一次，直接点检查好像没用(可能需要扫描吧)，等到服务器上.torrent文件出现

6.3 接下来就添加集群

02.

03.选免费

04.等待一会儿进入如下界面，继续

05.起个名字

06.因为我们已经手动安装了配置了agent和server，这里选择管理主机，如果你的agent不在里面，查找日志或者配置，正常都在

07.继续

08.等待（腾讯云 TencentOS Server 有没有用过的😭😭😭 卡住了草）