Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f,或者扫描文末二维码。
1.文档编写目的
Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令。
如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager会统一做,另外如果客户端机器出现异常,Cloudera Manager也会告警。
增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。前面Fayson介绍过在非Kerberos环境下部署Gateway节点,参考《如何给CDH集群增加Gateway节点》。本文则主要是介绍如何在Kerberos环境下给CDH集群增加Gateway节点。
内容概述
1.创建Gateway节点的主机模板
2.Gateway节点的前置准备
3.增加Gateway节点到集群并应用主机模板
4.GateWay节点命令测试
测试环境
1.CDH5.13
2.采用root用户操作
3.CentOS6.5
前置条件
1.CDH5.13集群运行正常
2.Gateway节点已准备,并准备好前置
2.创建Gateway节点的主机模板
1.从Cloudera Manager进入“主机模板”页面

2.点击“创建”

3.给模板命名,点击各个服务勾选相应的GateWay角色

4.点击“创建”,确认创建成功.

3.Gateway节点的前置准备
前置准备请参考Fayson之前的文章《CDH安装前置准备》,主要包括以下步骤:
1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包
2.确保Cloudera Manager的yum源运行正常
3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点
4.禁用SELinux
5.关闭防火墙

本文详细介绍了在Kerberos保护的CDH集群中添加Gateway节点的步骤,包括创建主机模板、前置准备、安装Kerberos客户端、加入集群并应用模板以及测试。确保OS和Cloudera Manager的yum源正常,配置hosts文件,禁用SELinux等是关键。安装完成后,通过HDFS、HBase、Hive和hadoop命令测试验证Gateway节点的功能。
最低0.47元/天 解锁文章
198

被折叠的 条评论
为什么被折叠?



