用户认证——Kerberos集成Hadoop的配置

最新推荐文章于 2025-10-22 20:21:25 发布

原创

最新推荐文章于 2025-10-22 20:21:25 发布 · 3.6k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #分布式

本文详细指导如何在Hadoop集群中创建用户、生成Kerberos主体，并配置核心、HDFS、YARN和MapReduce服务的安全认证。涉及用户管理、密钥tab文件创建、配置文件编辑与分发，以及HTTPS和LinuxContainerExecutor的设置。

1 创建Hadoop系统用户

为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。

创建hadoop组

[root@hadoop102 ~]# groupadd hadoop

hadoop103和hadoop104做同样的操作。

创建各用户并设置密码

[root@hadoop102 ~]# useradd hdfs -g hadoop

[root@hadoop102 ~]# echo hdfs | passwd --stdin hdfs

[root@hadoop102 ~]# useradd yarn -g hadoop

[root@hadoop102 ~]# echo yarn | passwd --stdin yarn

[root@hadoop102 ~]# useradd mapred -g hadoop

[root@hadoop102 ~]# echo mapred | passwd --stdin mapred

hadoop103和hadoop104做同样的操作。

2 Hadoop Kerberos配置

2.1 为Hadoop各服务创建Kerberos主体（Principal）

主体格式如下：ServiceName/HostName@REALM，例如 dn/hadoop102@EXAMPLE.COM

1.各服务所需主体如下

2.创建主体

1）在所有节点创建keytab文件目录

[root@hadoop102 ~]# mkdir /etc/security/keytab/

[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/

[root@hadoop102 ~]# chmod 770 /etc/security/keytab/

hadoop103和hadoop104做同样的操作。

2）以下命令在hadoop102节点执行

NameNode（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nn/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nn.service.keytab nn/hadoop102"

DataNode（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop102"

NodeManager（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop102"

JobHistory Server（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey jhs/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/jhs.service.keytab jhs/hadoop102"

Web UI（hadoop102）