HDFS上配置kerberos（十一）

最新推荐文章于 2025-03-25 20:25:07 发布
最新推荐文章于 2025-03-25 20:25:07 发布
阅读量2.7k 收藏 1
点赞数 1
分类专栏： kerberos 文章标签： hadoop kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/forever19870418/article/details/68945850
版权
一、创建认证规则
二、创建Keytab文件
三、部署Kerberos Keytab文件
四、修改HDFS配置文件，包括
1）core-site.xml
2）hdfs-site.xml
五、启动namenode
六、启动datanode

步骤实施
1、创建认证规则
 [root@cdh1 training]# kadmin.local -q "addprinc -randkey hdfs/cdh1@ZGP.COM"
Authenticating as principal root/admin@ZGP.COM with password.
WARNING: no policy specified for hdfs/cdh1@ZGP.COM; defaulting to no policy
Principal "hdfs/cdh1@ZGP.COM" created.
[root@cdh1 training]#
[root@cdh1 training]# kadmin.local -q "addprinc -randkey hdfs/cdh2@ZGP.COM"
[root@cdh1 training]# kadmin.local -q "addprinc -randkey hdfs/cdh3@ZGP.COM"
[root@cdh1 training]# kadmin.local -q "addprinc -randkey HTTP/cdh1@ZGP.COM"
[root@cdh1 training]# kadmin.local -q "addprinc -randkey HTTP/cdh2@ZGP.COM"
[root@cdh1 training]# kadmin.local -q "addprinc -randkey HTTP/cdh3@ZGP.COM"

[root@cdh1 training]# kadmin
Authenticating as principal root/admin@ZGP.COM with password.
Password for root/admin@ZGP.COM: 
kadmin:  list_principals
HTTP/cdh1@ZGP.COM
HTTP/cdh2@ZGP.COM
HTTP/cdh3@ZGP.COM
K/M@ZGP.COM
hdfs/cdh1@ZGP.COM
hdfs/cdh2@ZGP.COM
hdfs/cdh3@ZGP.COM
kadmin/admin@ZGP.COM
kadmin/cdh1@ZGP.COM
kadmin/changepw@ZGP.COM
krbtgt/ZGP.COM@ZGP.COM
root/admin@ZGP.COM
kadmin:  


2、创建keytab文件
[root@cdh1 training]# cd /var/kerberos/krb5kdc
[root@cdh1 krb5kdc]# kadmin.local -q "xst -k hdfs-unmerged.keytab hdfs/cdh1@ZGP.COM"
Authenticating as principal root/admin@ZGP.COM with password.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:hdfs-unmerged.keytab.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:hdfs-unmerged.keytab.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type des3-cbc-sha1 added to keytab WRFILE:hdfs-unmerged.keytab.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type arcfour-hmac added to keytab WRFILE:hdfs-unmerged.keytab.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type des-hmac-sha1 added to keytab WRFILE:hdfs-unmerged.keytab.
Entry for principal hdfs/cdh1@ZGP.COM with kvno 2, encryption type des-cbc-md5 added to keytab WRFILE:hdfs-unmerged.keytab.
[root@cdh1 krb5kdc]#
[root@cdh1 krb5kdc]# kadmin
最低0.47元/天 解锁文章
【Flink】Flink跨集群访问开启Kerberos认证的Kafka
九师兄
07-30 3291
Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。JaasModule用来对使用JaasConfig进行身份验证的框架（kafka、zk、hbase异步框架等）进行认证配置。......
Flink源码解析：大数据安全认证之Kerberos认证
CodeHeroicX的博客
08-20 524
通过理解Flink源码中的Kerberos认证实现，我们可以更好地配置和管理Flink集群的安全认证机制。以上是关于Flink源码解析：大数据安全认证之Kerberos认证的实现细节的详细文章，内容涵盖了相关的源代码。参数，该参数指定了用于Kerberos认证的keytab文件的路径。参数，该参数指定了Flink JobManager和TaskManager节点用于Kerberos认证的keytab文件的路径。在客户端配置中，Flink提供了一些用于Kerberos认证的参数。
HDFS集群整合Kerberos配置步骤
煉心的博客
05-25 4794
1 概述本文档用于HDFS整合Kerberos配置的详细步骤说明，版本分别为2.7.3和1.16。2 前提条件假设已有安装配置好的HDFS集群和YARN，本文使用4台服务器，角色分别为：192.168.1.10：NameNode、SecondaryNameNode、ResourceManager192.168.1.11：DataNode、NodeManager192.168.1.12：DataNo...
Javaweb访问Hdfs--Kerberos认证
aimangqi8019的博客
08-22 526
开启kerberos debug模式： System.set("java.security.krb5.debug","true"); windows客户端进行kerberos认证： 默认读取的配置文件：C:/Windows/krb5.ini,对应的文件要修改和kerberos server上对应配置，否则认证失败。 转载于:https://www.cnblo...
大数据笔记1：配置 hdfs（伪分布式）
最新发布
C3127241519的博客
03-25 315
hdfs伪分布式搭建
HDFS 集成 Kerberos
mnasd的博客
09-20 2786
本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单介绍。
自建大数据集群因kerberos认证无法进入hdfs Web UI问题
Flake
11-15 2405
关于mac本机访问webdfs的kerberos认证问题的解决方式 问题如下： 解决方案： 获取到生成的keytab文件到本地。 创建/etc/krb5.conf [libdefaults] dns_lookup_realm = false dns_lookup_kdc = false ticket_lifetime = 1h renew_lifetime = 7d max_life = 12h 0m 0s forwardable = true udp_preference_limit
hadoop 3.X 分布式HA集成Kerbos(保姆级教程）
guofei_ok的博客
06-30 1477
前提：先安装Kerbos。
为hdfs配置kerberos
10-27
"HDFS 配置 Kerberos" 本文档记录了为 Hadoop 的 HDFS 配置 Kerberos 的过程，Hadoop 的版本是 2.4.1。Kerberos 是一种常用的身份验证协议，用于提供安全的身份验证机制。在 Hadoop 中，Kerberos 可以用于 HDFS 和 ...
快速搭建kerberos认证的HDFS环境
qq_39522120的博客
03-12 1142
快速搭建kerberos认证的HDFS环境
Hadoop部署和配置Kerberos安全认证
05-17
通过本文介绍的方法，可以在Hadoop集群上成功部署并配置Kerberos安全认证。Kerberos的引入显著提高了Hadoop集群的安全性，特别是在多租户环境中。此外，通过Cloudera Manager进行管理大大简化了配置过程，降低了出错...
HDFS_Kerberos
slyang的博客
07-09 668
1 pom.xml <dependencies> <!-- 这里的dependency可以只引用 `hadoop-client`，或者同时引用`hadoop-common`和`hadoop-hdfs` --> <dependency> <groupId>org.apache.hadoop</...
hdfs集群间kerberos互信配置
snail_bing的博客
09-13 4692
1.修改hdfs配置 在两个集群的hdfs-site.xml中添加以下内容： <property> <name>dfs.namenode.rpc-bind-host</name> <value>0.0.0.0</value> <description></description> </property> <property> <name>dfs.namenode.servic
【FLinlk】Flink小坑之kerberos动态认证
九师兄
06-09 5218
1.概述 转载并且补充：Flink小坑之kerberos动态认证 2.官网 这段内容摘抄自官网：Kerberos Authentication Setup and Configuration 配置：Kerberos-based Authentication / Authorization Flink 通过 Kafka 连接器提供了一流的支持，可以对 Kerberos 配置的 Kafka 安装进行身份验证。只需在 flink-conf.yaml 中配置 Flink。像这样为 Kafka 启用 Kerbero
Hadoop开启Kerberos安全模式
木木与呆呆的专栏
11-20 3362
Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境， 在此基础上开启Kerberos安全模式。 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 zdh-7 hdfsone/zdh1234 Kerberos服务器 10.43.159.11 zdh-11 kerberos server 2.创建用户的k...
用户认证——Kerberos集成Hadoop的配置
zhangzhagn_的博客
08-06 3467
Hadoop Kerberos配置
【kerberos】kerberos创建用户和keytab文件
Mrerlou的博客
08-15 3438
将生成的keytab 文件放到 新建用户 user01 的家目录下。下面演示下如何创建一个kerberos 和 keytab 文件。user01 为用户名。111111 为密码。
Kerberos从入门到精通以及案例实操系列（二）
prefect_start的博客
06-05 1249
所以在安全的Hadoop环境下，Kylin不需要做额外的配置，只需要具备一个Kerberos主体，进行常规的认证即可。若Presto对接的是Hive数据源，由于其需要访问Hive的元数据和HDFS上的数据文件，故也需要对Hive Connector进行Kerberos认证。启用Kerberos认证之后，关闭HBase时，需先进行Kerberos用户认证，认证的主体为hbase。但是Kylin所依赖的HBase需要进行额外的配置，才能在安全的Hadoop环境下正常工作。以下说明均基于普通用户。
hdfs配置kerberos
02-12
### 配置HDFS中的Kerberos认证 #### 准备工作 为了确保Apache Hadoop集群的安全性，Kerberos作为基础安全机制被广泛采用。启用Kerberos之后，用户身份验证成为必要条件[^1]。 #### 安装并配置KDC服务器 首先需要安装和设置一个Key Distribution Center (KDC)，这可以是在本地环境中部署MIT KDC或是利用现有的企业级LDAP集成的KDC服务。此过程不在本文讨论范围内，但这是实现Kerberos认证的前提。 #### 创建必要的Principal和服务密钥表(keytabs) 对于每一个运行Hadoop守护进程的服务主机都需要创建相应的principal以及keytab文件用于存储这些principals的秘密信息。例如，在名为`example.com`领域内的namenode principal可能看起来像这样:`nn/fqdn.example.com@EXAMPLE.COM`。同样地也需要为其他节点如datanodes、resourcemanager等创建对应的principal[^4]。 #### 修改核心配置文件 编辑`core-site.xml`, 添加如下属性来指定默认realm和其他一些参数： ```xml <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> <!-- Specify default realm --> <property> <name>kerberos.server.principal</name> <value>HTTP/_HOST@YOUR-REALM.COM</value> </property> ``` 同时更新`hdfs-site.xml`以包含NameNode 和 DataNodes 的 principals 及其 keytabs的位置: ```xml <configuration> ... <!-- NameNode configuration --> <property> <name>dfs.namenode.kerberos.principal</name> <value>nn/_HOST@YOUR-REALM.COM</value> </property> <property> <name>dfs.namenode.keytab.file</name> <value>/etc/security/keytabs/nn.service.keytab</value> </property> <!-- Secondary NameNode Configuration --> ... <!-- DataNode Configuration --> <property> <name>dfs.datanode.kerberos.principal</name> <value>dn/_HOST@YOUR-REALM.COM</value> </property> <property> <name>dfs.datanode.keytab.file</name> <value>/etc/security/keytabs/dn.service.keytab</value> </property> ... </configuration> ``` 最后一步是分发修改后的XML配置文件到所有的集群成员上[^3]: ```bash scp core-site.xml hdfs-site.xml hadoop@slave01.hadoop:/usr/local/hadoop-2.7.7/etc/hadoop/ ``` 完成上述步骤后重启所有受影响的服务使更改生效即可开始享受更高级别的安全性保护措施带来的好处[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值