CDH5.5.1增加新主机

最新推荐文章于 2023-05-26 18:46:51 发布

TURING.DT

最新推荐文章于 2023-05-26 18:46:51 发布

阅读量4.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： CDH HADOOP

本文链接：https://blog.youkuaiyun.com/levy_cui/article/details/52609186

HADOOP 同时被 2 个专栏收录

81 篇文章

订阅专栏

CDH

21 篇文章

订阅专栏

本文详细介绍了Cloudera Data Hub (CDH)集群的三种扩容方法，并重点分享了通过软件包手动安装Agent的方式。文中还提供了具体步骤及注意事项，帮助读者顺利完成CDH集群的扩容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.说明
CDH机器添加分三种方式
1) 页面向导添加（最好离线，不然会从官网下载安装包时间较长）
2) 软件包手动安装
3) 原始码手动安装（原始码安装需要自己指定管理目录）
这里分享第二种方式，软件包安装方法

2.安装部署

1) 主机名、ip等修改好，关闭防火墙，ssh免密码登录,CM服务器配置下hosts文件解析新主机

chkconfig ntpd on
service ntpd start
ntpdc -c loopinfo

2) 首先到http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/选择对应的版本，主要参考已有集群的agent的版本，进行选择，安装agent
3) 下载对应版本的rpm包，如5.5.1版本的
cloudera-manager-agent-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
cloudera-manager-daemons-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
4) 安装jdk，最好与原有集群jdk版本保持一致
5) 安装daemons、agent，rpm包
6) 启动agent
/etc/init.d/cloudera-scm-agent start
7) 这时打开scm web管理页面，点击最上面导航主机选项即可看到新增加的节点
8) 点击上面的向集群添加新主机即可添加，共5步
    a) 由于已经将cm agent拷贝到各机器并启动了，此处不是通过IP或hostname查找的（即使查出来也无法选择），而是已存在的主机里面选择，选择新加的agent，点继续
    b) 出现下载parcel的界面，此处多多注意不同linux版本要不同的parcel包
    c) 检查主机正确性
    d) 检查主机正确性
    e) 选择主机模板-此处可选择要安装的组件
    f) 完成

添加客户端服务

hdfs服务 > 添加角色实例 > 选择Gateway
这样新增的主机有hdfs客户端的命令了
其他服务也是同理。

参考:http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_mc_adding_hosts.html

　　 http://blog.youkuaiyun.com/xleyou/article/details/25792853

报错处理：
DNS反向解析PTR localhost：
描述：
    DNS反向解析错误，不能正确解析Cloudera Manager Server主机名
    日志：

            Detecting Cloudera Manager Server...
            Detecting Cloudera Manager Server...
            BEGIN host -t PTR 192.168.10.19
            19.10.168.192.in-addr.arpa domain name pointer localhost.
            END (0)
            using localhost as scm server hostname
            BEGIN which python
            /usr/bin/python
            END (0)
            BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
            Traceback (most recent call last):
            File "<string>", line 1, in <module>
            File "<string>", line 1, in connect
            socket.error: [Errno 111] Connection refused
            END (1)
            could not contact scm server at localhost:7182, giving up
            waiting for rollback request

解决方案：
将新主机的 /usr/bin/host 文件删掉,执行下面命令：
mv /usr/bin/host /usr/bin/host.bak

说明：
不明白cloudera的初衷，这里已经得到 Cloudera Manager Server的ip了，却还要把ip解析成主机名来连接由于DNS反向解析没有配置好，根据Cloudera Manager Server 的ip解析主机名却得到了localhost，造成之后的连接错误这里的解决方案是直接把/usr/bin/host删掉，这样Cloudera Manager就会直接使用 ip进行连接，就没有错了