cm+cdh集群配置

原创已于 2025-02-22 12:37:43 修改 · 411 阅读

7 ·

CC 4.0 BY-SA版权

快乐的小阿白

文章标签：

#hadoop #hive

于 2025-02-14 11:15:16 首次发布

Hadoop 专栏收录该内容

2 篇文章

订阅专栏

安装 6.3.1

1.集群规划

3台主机版本TencentOS Server2.4

2.部署前准备工作

1.修改hosts文件,添加主机映射(集群每个主机的，新增自后需要修改)
vim /etc/hosts

3.配置新用户免密(待完善，大家自己找教程吧)

ssh-keygen -t rsa  # 生成
ssh-copy-id # 配置免密
ssh-copy-id -i ~/.ssh/id_rsa.pub alice@kf-191-107 # 复制到用户

4.时钟同步(==注意123端口是否能够连通==)

yum -y install ntp                   #安装ntp
vim /etc/ntp.conf                    #修改配置 设置
#注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器  我使用的是阿里云的NTP服务器
server ntp1.aliyun.com iburst
#在其他节点上把ntp指向master服务器地址即可
server 192.168.158.10 iburst
#安装完成后设置ntp开机启动并启动ntp
systemctl enable ntpd
systemctl start ntpd
#查看状态
systemctl status ntpd

5.mysql 安装
版本不要超过5.x,除非你的cm版本更高

#官网下载安装包，版本低一些

在这里插入图片描述

6.关闭防火墙
7.关闭selinux

vi /etc/selinux/config
#修改配置项：SELINUX=disabled，默认：#SELINUX=enforcing

8.安装需要的包

yum install -y bind-utils libxslt cyrus-sasl-plain  portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse php-devel php-pear httpd-devel krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel openldap-devel python-devel python-simplejson sqlite-devel

9.上传驱动到/usr/share/java 这是默认路径

10.安装java(就用yum安装吧不然老是版本不适配,真是醉了)

yum -y install java-1.8.0-openjdk
yum install java-1.8.0-openjdk-devel.x86_64 #扩展包

3.cm安装

3.1.解压安装

tar -xvf cm6.3.1-redhat7.tar 
mv cm6.3.1 cm6
cd /opt/soft/cm6/RPMS/x86_64
#所有机器都要安装
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
#仅sever
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
#所有agent
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

3.2.初始化数据库

#数据库不在一个机器上就用远程登录命令写 参数分别是: 数据库 用户名 密码 ,跟后面db.properties保持一致
cd /opt/cloudera/cm/schema
./scm_prepare_database.sh mysql -uroot -proot cmf cmf cmf

3.3.修改agnet配置文件

vim /etc/cloudera-scm-agent/config.ini 
# Hostname of the CM server.
# 修改server_host=主机名

3.4.修改server配置文件

vim /etc/cloudera-scm-server/db.properties
#修改元数据库信息

4.上传离线parcel-6.3.2

ps:有的会sha1结尾的文件，名字把1去掉(下图第二个)

/opt/cloudera/parcel-repo  #server机器
# 启动服务后，等待.torrent文件出现就代表parcel识别到了，然后就可以开始配置集群了

在这里插入图片描述

5.启动

# server
systemctl status cloudera-scm-server
systemctl start cloudera-scm-server
systemctl stop cloudera-scm-server

#agent
systemctl start cloudera-scm-agent
systemctl status cloudera-scm-agent
systemctl stop cloudera-scm-agent

6.开始配置集群

6.1 配置parcel

在这里插入图片描述

6.2 点配置，修改为5分钟一次，直接点检查好像没用(可能需要扫描吧)，等到服务器上.torrent文件出现

在这里插入图片描述

6.3 接下来就添加集群

在这里插入图片描述
02.

03.选免费
在这里插入图片描述

04.等待一会儿进入如下界面，继续

05.起个名字
在这里插入图片描述
06.因为我们已经手动安装了配置了agent和server，这里选择管理主机，如果你的agent不在里面，查找日志或者配置，正常都在

07.继续

08.等待（腾讯云 TencentOS Server 有没有用过的😭😭😭 卡住了草）