0567-6.1.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置

最新推荐文章于 2020-09-21 09:52:20 发布

原创最新推荐文章于 2020-09-21 09:52:20 发布 · 505 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop实操专栏收录该内容

412 篇文章

订阅专栏

1 文档编写目的

用户在使用Hadoop集群的过程中需要将集群外节点且跨操作系统(suse)的服务器配置为CDH的Gateway角色。本篇文章Fayson主要介绍在Redhat7操作系统上运行的非安全的CDH集群外，为一台suse12操作系统的节点配置为该集群的Gateway节点，且该节点不纳入Cloudera Manager管理。

2 Gateway配置过程

1.查看需要配置Gateway节点的操作系统版本

2.修改主机名

hostnamectl set-hostname cdh238.macro.com

3.将该主机添加到原集群的所有节点host文件中

sh batch_cmd.sh node.list “192.168.0.238 cdh238.macro.com”

并将cm节点的hosts文件拷贝到新节点上来：

4.创建/opt/cloudera/parcels目录

mkdir /opt/cloudera/parcels

5.上传对应CDH版本以及SUSE操作系统的parcel包

6.解压parcel包到/opt/cloudera/parcels下

tar -zxvf CDH-6.1.0-1.cdh6.1.0.p0.770702-sles12.parcel -C /opt/cloudera/parcels/

建立软连接

cd /opt/cloudera/parcels
ln -s CDH-6.1.0-1.cdh6.1.0.p0.770702 CDH

7.创建java_home目录

mkdir -p /usr/java

8.从cm节点拷贝jdk到新节点

scp -r cdh234.macro.com:/usr/java/jdk1.8.0_141-cloudera /usr/java

9.配置CDH_HOME和JAVA_HOME，并配置PATH

export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$JAVA_HOME/bin:$PATH

更新环境变量

source /etc/profile

10.创建配置文件目录

mkdir -p /etc/spark/conf
mkdir -p /etc/hadoop/conf
mkdir -p /et/hbase/conf
mkdir -p /etc/hive/conf
mkdir -p /etc/hadoop/conf.cloudera.hdfs
mkdir -p /etc/hadoop/conf.cloudera.yarn

11.从原集群中拉取配置文件

scp -r cdh234.macro.com:/etc/hadoop/conf/* /etc/hadoop/conf
scp -r cdh234.macro.com:/etc/spark/conf/* /etc/spark/conf
scp -r cdh234.macro.com:/etc/hbase/conf/* /etc/hbase/conf
scp -r cdh234.macro.com:/etc/hive/conf/* /etc/hive/conf
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.hdfs/* /etc/hadoop/conf.cloudera.hdfs
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.yarn/* /etc/hadoop/conf.cloudera.yarn

3 客户端功能验证

1.HDFS命令验证

在目录下创建a.txt文件

在hdfs上新建一个目录/tmp/test

将a.txt上传到/tmp/test目录下

将本地的a.txt删除，从hdfs上拉取下来并查看

2.MapReduce作业验证

hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar pi 5 5

在控制台上查看，生成了任务

3.Hive功能验证

4.Spark功能验证

5.HBase功能验证