不知不觉干了两年多的大数据开发&运维,想当初入职时因为大数据组开发人手不足(就后来带我的一个人),把本来投的是运维开发岗的我调去了大数据组。虽然当时早就听说做大数据很有前途,但本硕学的都是通信工程的我完全没有基础啊不敢投啊,不知是人品好或是运气好该庆幸自己走了狗屎运转到了有“前途”的岗位,还是因为我的简历上有做Python开发的实习经历,反正我是体会到了大公司对应届校招生调岗是多么的随意。于是从这之后就开始了我的踩坑之旅。。。之所以来优快云写博客了,是因为踩过的坑如果不记录是不知道什么时候又会再踩一遍的。
首先从CDH开始讲起,因为这是我们大数据组的基石,是CDH让我们告别了刀耕火种(用Apache开源的大数据组件搭建集群)的时代。然而任何软件系统都不是完美的,依然有坑等着你去踩,比如首次部署开启了Auto-TLS的CDH集群在之后扩容增加节点时就折腾了我好久,以下是对避免踩这个坑的记录总结,有什么不对或是有疑惑的地方欢迎指正、讨论和交流。
当CDH集群因资源不足导致负载过高时,需要添加主机并将新增主机纳入HDFS(添加DataNode角色)和YARN(添加NodeManager角色)的管理以减轻集群压力。下面是CDH6.0.1免费版本添加主机的操作步骤,CDH集群初始安装时默认启用了Auto-TLS。
-
为新增主机配置hostname
1.使用如下命令为主机设置一个完全限定域名,保证在集群内该主机名唯一
sudo hostnamectl set-hostname foo-1.example.com
2.编辑/etc/sysconfig/network,设置HOSTNAME=foo-1.example.com,然后执行hostname foo-1.e