CDH主机添加

1.1说明

CDH机器添加分三种方式

1) 页面向导添加(最好离线)

2) 软件包手动安装

3) 原始码手动安装

第一种方式最简单,添加的节点会去主机下载安装包,但是在公网上ip反向解析域名,经常出错,离线会好点
第三种方式原始码安装需要自己指定管理目录
推荐第三种方式,会自动添加对应的服务,目录自动建立

这里分享第二种方式,软件包安装方法

 

1.2安装部署

1) 主机名、ip等修改好,关闭防火墙,ssh免密码登录不是必须的

2) 首先到http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/选择对应的版本,主要参考已有集群的agent的版本,进行选择,安装agent

3) 下载对应版本的rpm包,如5.3.1版本的

cloudera-manager-daemons-5.3.1-1.cm531.p0.191.el6.x86_64.rpm

cloudera-manager-agent-5.3.1-1.cm531.p0.191.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

4) 安装jdk,最好与原有集群jdk版本保持一致

5) 安装daemons、agent,rpm包

6) 启动agent

/etc/init.d/cloudera-scm-agent start

7) 这时打开scm web管理页面,点击最上面导航 主机 选项即可看到新增加的节点

8) 点击上面的 向集群添加新主机 即可添加,共5步

    a) 由于已经将cm agent拷贝到各机器并启动了,此处不是通过IP或hostname查找的(即使查出来也无法选择),而是已存在的主机里面选择,选择新加的agent,点继续

    b) 出现下载parcel的界面,此处多多注意不同linux版本要不同的parcel包

    c) 检查主机正确性

    d) 检查主机正确性

    e) 选择主机模板-此处可选择要安装的组件

    f) 完成

 

参考:http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_mc_adding_hosts.html
   http://blog.youkuaiyun.com/xleyou/article/details/25792853

转载于:https://www.cnblogs.com/Nervermore/p/4994301.html

<think>嗯,用户现在问的是如何在CDH中向主机添加角色。之前他们遇到了systemd服务依赖的问题,现在可能已经解决了,现在开始进行CDH集群的配置。需要先理解CDH中的角色是什么,以及添加角色的步骤。 首先,CDH中的角色指的是各个服务的实例,比如HDFS的DataNode、NameNode,YARN的ResourceManager等。添加角色通常是在Cloudera Manager中完成的,用户可能是在部署集群后需要扩展节点或者增加服务组件。 用户可能是新手,不太清楚Cloudera Manager的操作流程,需要详细步骤。同时,可能需要注意一些前提条件,比如主机已经被正确添加到集群中,网络和权限配置正确,Agent已经安装等。 需要分步骤说明,从登录Cloudera Manager开始,到进入主机页面,选择添加角色,然后选择服务类型和具体角色,配置参数,最后部署。此外,还要提醒用户检查主机状态,可能遇到的常见问题,比如主机未被管理、Agent未运行、端口冲突等。 另外,用户可能在添加角色时遇到问题,比如主机不可用或者配置错误,需要给出一些故障排查的方法,比如检查主机网络、Agent日志等。最后,可能还需要说明如何验证角色是否成功添加,比如通过服务状态页面或命令行工具。 要确保回答结构清晰,逐步引导用户完成操作,并涵盖可能的注意事项和问题排查步骤。同时,保持语言简洁,避免技术术语过多,让用户容易理解。</think>在CDH(Cloudera Distribution for Hadoop)中,向主机添加角色(如HDFS的DataNode、YARN的NodeManager等)需要通过Cloudera Manager(CM)进行操作。以下是详细步骤: --- ### **1. 前提条件** - 主机已**加入集群**且被Cloudera Manager管理。 - 主机满足以下要求: - 已安装Cloudera Manager Agent。 - 网络互通(SSH免密、端口开放)。 - 资源充足(CPU、内存、磁盘)。 --- ### **2. 通过Cloudera Manager添加角色的步骤** #### **(1) 登录Cloudera Manager** 访问Cloudera Manager Web界面(默认地址:`http://<CM服务器IP>:7180`),使用管理员账号登录。 --- #### **(2) 进入主机管理页面** 1. 导航到 **主机(Hosts)** > **所有主机**,确认目标主机状态为 **已管理(Managed)**。 2. 若主机添加,需先通过 **主机 > 添加主机** 完成注册(需提前安装Agent)。 --- #### **(3) 添加角色到主机** 1. **选择服务**: - 导航到 **集群(Cluster)** > 目标集群 > **服务(Services)**。 - 选择要扩展的服务(如HDFS、YARN、HBase等)。 2. **进入角色添加向导**: - 点击服务页面右上角的 **操作(Actions)** > **添加角色实例(Add Role Instances)**。 3. **选择目标主机**: - 在可用主机列表中勾选要添加角色的主机。 - 选择要部署的具体角色(如DataNode、NodeManager、RegionServer等)。 4. **配置角色参数**: - 根据角色类型配置参数(例如DataNode的数据目录、NodeManager的内存分配等)。 - 若需要,可覆盖默认配置。 5. **部署更改**: - 点击 **继续(Continue)**,Cloudera Manager将自动分发配置并启动角色。 - 观察部署进度条,确保所有操作成功完成。 --- ### **3. 验证角色是否添加成功** 1. **检查服务状态**: - 在服务页面查看新角色实例的状态是否为 **运行中(Running)**。 - 示例:HDFS的DataNode数量应增加,且所有节点健康状态为绿色。 2. **通过命令行验证**: - 登录目标主机,检查进程是否运行: ```bash # 检查DataNode ps -ef | grep DataNode # 检查NodeManager ps -ef | grep NodeManager ``` --- ### **4. 常见问题与解决** - **问题1:主机未显示在可用列表中** - 检查Cloudera Manager Agent是否运行:`systemctl status cloudera-scm-agent`。 - 确认主机已通过CM的 **主机 > 重新运行代理注册** 完成注册。 - **问题2:角色启动失败** - 查看角色日志:在CM界面进入角色实例 > **日志(Logs)**。 - 检查资源冲突(如端口占用)或权限问题(如数据目录不可写)。 - **问题3:配置冲突** - 若同一主机部署多个角色,需确保资源分配合理(如内存、CPU不超限)。 --- ### **5. 扩展操作** - **批量添加角色**:在CM中通过 **批量操作(Bulk Operations)** 同时为多台主机分配角色。 - **自动化部署**:使用Cloudera Manager API或Ansible脚本实现自动化角色部署。 --- 通过以上步骤,可以高效地为CDH集群中的主机添加角色。若需进一步优化,建议参考[Cloudera官方文档](https://docs.cloudera.com/)。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值