如何向CDH集群添加主机节点

不知不觉干了两年多的大数据开发&运维,想当初入职时因为大数据组开发人手不足(就后来带我的一个人),把本来投的是运维开发岗的我调去了大数据组。虽然当时早就听说做大数据很有前途,但本硕学的都是通信工程的我完全没有基础啊不敢投啊,不知是人品好或是运气好该庆幸自己走了狗屎运转到了有“前途”的岗位,还是因为我的简历上有做Python开发的实习经历,反正我是体会到了大公司对应届校招生调岗是多么的随意。于是从这之后就开始了我的踩坑之旅。。。之所以来优快云写博客了,是因为踩过的坑如果不记录是不知道什么时候又会再踩一遍的。

首先从CDH开始讲起,因为这是我们大数据组的基石,是CDH让我们告别了刀耕火种(用Apache开源的大数据组件搭建集群)的时代。然而任何软件系统都不是完美的,依然有坑等着你去踩,比如首次部署开启了Auto-TLS的CDH集群在之后扩容增加节点时就折腾了我好久,以下是对避免踩这个坑的记录总结,有什么不对或是有疑惑的地方欢迎指正、讨论和交流。

当CDH集群因资源不足导致负载过高时,需要添加主机并将新增主机纳入HDFS(添加DataNode角色)和YARN(添加NodeManager角色)的管理以减轻集群压力。下面是CDH6.0.1免费版本添加主机的操作步骤,CDH集群初始安装时默认启用了Auto-TLS。

  • 为新增主机配置hostname

    1.使用如下命令为主机设置一个完全限定域名,保证在集群内该主机名唯一

    sudo hostnamectl set-hostname foo-1.example.com

    2.编辑/etc/sysconfig/network,设置HOSTNAME=foo-1.example.com,然后执行hostname foo-1.e

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值