kerberos主体的hadoop转换规则

最新推荐文章于 2024-07-21 13:52:38 发布
翻译 最新推荐文章于 2024-07-21 13:52:38 发布 · 2.3k 阅读 · 2
文章标签：

#kerberos #hadoop

本文探讨了HDFS如何使用Kerberos进行认证，并详细解释了从Kerberos用户到本地Unix/Linux用户名的映射过程。通过正则表达式规则，HDFS能够将Kerberos principal转换为本地用户，从而实现更精细的文件访问控制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

我们知道hdfs支持kerberos认证，但是hdfs如何将kerberos的用户映射到本地unix/liunx用户名呢？
在了解这个之前我们先来介绍下kerberos的组成
例如给出hdfs@HADOOP.COM 我们可 可以看出这个有2部分组成
第一部分为：realm component：HADOOP.COM
第二部分为：user component ：hdfs
有时候 用户部分会有/ 来分割成2个部分 例如：hdfs/admin@HDAOOP.COM

为什么要将kerberos用户装换成本地用户？

hdfs 默认使用ShellBasedUnixGroupsMapping，这就意味着它使用linux/unix命令来获取特定用户的组详细信息（例如：id username） ，通过组的信息 进一步用户hdfs文件和文件夹访问控制权限检查。

hdfs如何将principal 转换成本地用户

hdfs 使用core-site.xml中定义的一组正则表达式规则来装换kerberos principal
hadoop.security.auth_to_local

默认的规则是从principal里面剥离 realm name
例如：
hdfs@HADOOP.COM is 装换 to hdfs.
正则表达式类似于Perl.中的正则表达式
Lets look at one of the translation rule, it has 3 parts base , filter and substitution
让我们看下装换规则，他由三部分组成，Base基础，Filter过滤，Substitution替换

RULE:[1:$1@$0](hdfs@HADOOP.COM)s/.*/hdfs/

Base 基础：

RULE:[1:$1@$0]

base 中使用$0来表示 装换的域名， $1表示 第一个组件 ，$2表示用户名中的第二个组件
例如：

转换 
hdfs/admin@HADOPOP.COM

$0 = HADOOP.COM
$1 = admin
$2 = admin

Filter过滤

在下面的例子中我们需要过滤hdfs@HADOOP.COM

(hdfs@HADOOP.COM)s/.*/

Substitution替换

最后使用hdfs代替hdfs@HADOOP.COM

如何测试?

Use the following command to test your regex translation rules

hadoop org.apache.hadoop.security.HadoopKerberosName hdfs@HADOOP.COM
Name: hdfs@HADOOP.COM to hdfs

如果没用定义规则则报错信息如下：

hadoop org.apache.hadoop.security.HadoopKerberosName hdfs@TEST.COM
Exception in thread “main” org.apache.hadoop.security.authentication.util.KerberosName$NoMatchingRule: No rules applied to hdfs@TEST.COM
8、Kerberos与Hadoop身份认证详解
y4z5a6b7的博客
07-14 39
本文详细解析了Kerberos与Hadoop身份认证的集成机制，涵盖Kerberos数据库与客户端配置、Hadoop中的身份与认证、用户到组的映射策略、LDAP的应用与配置等内容。同时，文章通过工作流程、常见问题及解决方法、最佳实践建议等方面，全面指导读者实现Hadoop集群的安全高效管理。
17、【SparkSQL】org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism异常
Norni的博客
12-07 947
背景 当我在使用IDEA本地连接服务器spark服务时，虽然拷贝了hive-site.xml，提供了相应的依赖，仍然报错：org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism 依赖如下： <dependencies> <dependency> <groupId...
工作问题2：NoSuchMethodError:org.apache.hadoop.security.authentication.util.KerboresUtil.hasKerboresKeyTa
IUNIQUE技术册
11-14 375
Phoenix-5.0.0-HBase-2.0依赖存在问题问题描述解决方案 问题描述 平台需要对接Phoenix，所以引入了依赖，启动后就报错了 NoSuchMethodError:org.apache.hadoop.security.authentication.util.KerboresUtil.hasKerboresKeyTab（L javax/security/auth/Subject） <dependency> <groupId>org.apache.phoen
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosNam...
硅谷工具人
07-24 2907
启动spark-shell时，报错如下： Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.Had...
hadoop-auth NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism
pingyufeng的博客
01-20 2728
hadoop 3.2.1 hbase 2.3.7 spark 3.2.0 pom hadoop-auth是由hbase默认导入的2.10.0版本，更新导入版本3.2.1 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.
小记--bug:org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String；)V
xinji
05-13 1490
在使用新版本的hadoop3.2.2时,启动spark sql 发现以下报错 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerb
kerberos理论知识
一亩三分地
04-24 2648
一、什么是kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 Kerber...
Kerberos安装及使用2（Kerberos服务器KDC安装及配置）
Siobhan_Mxin的博客
03-16 9509
Kerberos服务器KDC安装及配置 centos虚拟机安装
最后，在 Hadoop 的配置文件中启用 Kerberos 认证，在core-site.xml和hdfs-site.xml中添加相关配置，<property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> 配置完成后，重启 Hadoop 集群使 Kerberos 配置生效。
06-12
- `hadoop.security.auth_to_local` 定义用户名的转换规则[^4] 2. **hdfs-site.xml配置** ```xml <!-- NameNode Kerberos身份 --> <name>dfs.namenode.kerberos.principal <value>nn/_HOST@HADOOP....
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
2401_85238540的博客
07-21 930
hiveserver2 keytab密钥文件路径hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径```以上配置分发到Hadoop各个集群节点后，将hdfs配置文件hdfs-site.xml，core-site.xml 发送到客户端和服务端HIVE_HOME/conf/目录中。​​​​​​​。
spark - org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket报错解决小记
qq_41018861的博客
05-25 1490
笔者遇到这个问题是在同事加入项目后，修改了pom.xml造成。直接上问题。 报错 笔者是在写完了UDAF进行本地测试的时候遇到。 21/05/25 09:13:12 INFO SparkContext: Running Spark version 2.4.2 21/05/25 09:13:13 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes
hadoop web 端口安全认证
sunyang098的博客
09-21 5002
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。 1、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。         hadoop.http.filter.initializers     org.apache.hadoop.security.AuthenticationFilt
Kerberos 使用小记
qq_42496461的博客
11-06 4131
Kerberos 使用小记 背景：使用一个spark集群(集群上有hbase 等大数据组件)，去连接另一个集群上的 Kerberos 认证的 hbase 集群。 基于mlsql 去连接。使用 yarn-client 模式。将 krb5.conf 和 wc1-ods.keytab 文件分发到所有集群节点的同一路径下。 使用spark newAPIHadoopRDD的方式去读 最好重写 TableInputFormat 的方法 在里面加入Kerberos认证 报错 20/10/19 16:08:24 ERROR
集群间配置kerberos互信
qq_36864672的博客
02-01 2535
本文档讲述通过配置tdh集群和tos集群某个租户两者间guardian互信，用户可以在两个集群登录操作hdfs，运用distcp工具将tdh集群中hdfs文件导入到tos租户hdfs。执行 hadoop fs -fs hdfs://192.168.100.104:8020 -ls / 和 hdfs dfs -ls / 是否都没问题。1.测试集群：以开发集群hdfs用户登录，然后分别访问开发集群和本地的hdfs。2.开发集群：以测试集群hd户登录，然后分别访问测试集群和本地的hdfs。
HDFS的安全身份验证
互联网知识分享
07-23 1511
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的密码文件。hadoop.security.group.mapping.ldap.search.filter.user：指定了用户查询过滤器。hadoop.security.group.mapping.ldap.search.filter.group：指定了组查询过滤器。dfs.namenode.keytab.file：指定了NameNode的服务密钥文件。
【异常】NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTa
本本本添哥
05-09 750
基于SpringBoot+Phoenix去链接Hbase，但是提示了错误。
配置两个Hadoop集群Kerberos认证跨域互信
Mrerlou的博客
06-29 1503
两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。先决条件：1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别...
Hadoop（二）---Hadoop集群的安全设置
狮锅艺
12-30 8437
配置hadoop的安全模式
Hadoop（2.7.3）安全模式-hadoop kerberos官方配置详解
热门推荐
m1213642578的专栏
09-06 1万+
这篇文档描述了如何为Hadoop在安全模式下配置认证。当Hadoop被配置运行在安全模式下时，每个Hadoop服务和每个用户都必须被Kerberos认证。正向方向的主机去查找所有服务的主机，必须被正确地配置来相互认证。
kerberos principal name does not have the expected hostname
最新发布
08-19
<think>首先，用户的问题是关于Kerberos认证的："Kerberos principal name does not have the expected hostname error solution"。这表示在Kerberos认证过程中，主体名称（principal name）不包含预期的主机名，导致错误。 根据系统级指令，我需要： - 所有行内数学表达式用$...$格式。 - 独立公式用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，如[^1]。 用户提供的引用包括： - 引用[1]: Kerberos错误消息，包括SEAM Administration Tool错误消息。 - 引用[2]: keytab文件是唯一的，因为它包含主机名，用于主机上的principal验证。 - 引用[3]: Hive集成Kerberos问题，涉及principal名称映射到Unix用户名。 这些引用不是用户直接的需求，而是背景信息。用户的核心问题是解决"principal name does not have the expected hostname"错误。 关键点： - Kerberos principal通常格式为service/hostname@REALM。 - 错误可能发生在principal名称中的hostname部分不匹配预期值时，例如在服务请求或keytab使用中。 常见原因和解决方案： 1. **主机名不匹配**：Kerberos principal中的hostname必须与系统的主机名或配置的hostname一致。 2. **keytab文件问题**：keytab文件是为特定主机生成的，如果hostname错误，会导致问题。 3. **配置错误**：在Kerberos配置文件中，如krb5.conf或服务配置中，hostname设置不正确。 4. **DNS解析问题**：主机名解析错误可能导致Kerberos使用错误的名称。 5. **用户映射问题**：如引用[3]提到的，auth_to_local映射可能影响principal名称的转换。 解决方案步骤： - 检查主机名：确保系统的主机名与principal中的hostname一致。 - 验证keytab：使用ktutil或klist检查keytab文件中的principal名称。 - 更新Kerberos配置：在krb5.conf中检查default_realm和hostname相关设置。 - 测试Kerberos：使用kinit或klist测试认证。 - 调整auth_to_local规则：如果需要，修改Hadoop的hadoop.security.auth_to_local参数来正确映射principal。 回答结构： - 以中文清晰解释问题。 - 逐步提供解决方案。 - 在适当的地方添加引用标识。 - 最后生成相关问题。 生成相关问题： - 基于用户的问题，生成相关的问题，如如何调试Kerberos错误、优化配置等。 最终输出格式： - 回答部分。 - §§相关问题§§部分。</think>### Kerberos主体名称不包含预期主机名错误的解决方案 在Kerberos认证中，主体名称（principal name）通常格式为 `服务/主机名@REALM`，例如 `hdfs/host123@KERBEROS_HADOOP`。当系统检测到主体名称中的主机名（hostname）部分不匹配预期值时，会触发 "principal name does not have the expected hostname" 错误。这常见于服务请求、keytab使用或用户映射场景中。以下我将逐步解释原因并提供解决方案，确保过程清晰可靠。 #### 错误原因分析 - **主机名不匹配**：Kerberos principal 中的主机名必须与系统实际主机名或配置的预期值一致。例如，如果服务配置为 `hdfs/host123`，但系统主机名为 `host456`，认证会失败。 - **keytab 文件问题**：keytab 文件是唯一的，因为它包含主机名信息；如果生成 keytab 时使用了错误的主机名，会导致 principal 验证失败[^2]。 - **配置或映射错误**：Kerberos 配置文件（如 `krb5.conf`）或用户映射规则（如 Hadoop 的 `auth_to_local`）未正确处理主机名转换，导致名称不匹配[^3]。 - **DNS 或网络问题**：主机名解析错误（如 DNS 配置错误）可能使 Kerberos 使用无效名称。 #### 逐步解决方案 1. **检查并修正系统主机名** 确保系统主机名与 Kerberos principal 中的主机名一致。 - 在 Linux 终端运行 `hostname` 查看当前主机名。 - 如果主机名不匹配，修改它： ```bash sudo hostnamectl set-hostname <预期主机名> # 例如 host123 ``` - 验证修改后重启服务：`sudo systemctl restart <相关服务>`。 2. **验证和更新 keytab 文件** keytab 文件必须包含正确的主机名。 - 使用 `klist -kt <keytab文件>` 检查 keytab 中的 principal 列表，确认主机名是否匹配预期值。例如： ```bash klist -kt /etc/security/keytabs/hdfs.keytab ``` - 如果主机名错误，重新生成 keytab： ```bash kadmin -q "ktadd -k /path/to/new.keytab <服务>/<主机名>@<REALM>" # 例如 hdfs/host123@KERBEROS_HADOOP ``` 然后更新服务配置使用新 keytab[^2]。 3. **调整 Kerberos 配置文件** 编辑 `krb5.conf` 文件（通常位于 `/etc/krb5.conf`），确保主机名和 realm 设置正确。 - 检查 `[realms]` 部分的主机名映射： ```ini [realms] KERBEROS_HADOOP = { kdc = kdc-server.example.com admin_server = admin-server.example.com default_domain = example.com # 确保与主机名一致 } ``` - 添加或更新 `[domain_realm]` 部分，将主机名映射到正确 realm： ```ini [domain_realm] .example.com = KERBEROS_HADOOP host123.example.com = KERBEROS_HADOOP ``` - 应用配置后测试：`kinit -kt <keytab> <principal>` 并检查错误是否消失。 4. **处理用户映射问题** 如果错误涉及服务（如 Hive 或 HDFS），调整 `auth_to_local` 映射规则。 - 在 Hadoop 的 `core-site.xml` 中，修改 `hadoop.security.auth_to_local` 参数，添加规则将 principal 全名映射为简化主机名： ```xml <property> <name>hadoop.security.auth_to_local</name> <value> RULE:[1:$1@$0](.*@KERBEROS_HADOOP)s/@.*// RULE:[2:$1/$2@$0](.*/host123@KERBEROS_HADOOP)s/@.*// DEFAULT </value> </property> ``` 这会将 `hdfs/host123@KERBEROS_HADOOP` 映射为 `hdfs`，避免权限问题[^3]。 - 重启 Hadoop 服务：`sudo systemctl restart hadoop-hdfs-namenode`。 5. **测试和调试** - 使用 `kinit -k -t <keytab> <principal>` 测试认证。 - 检查日志：查看 `/var/log/krb5kdc.log` 或服务日志，定位具体错误。 - 验证 DNS：运行 `nslookup <主机名>` 确保解析正确。 #### 注意事项 - **预防措施**：在生成 keytab 或配置服务时，始终使用完全限定域名（FQDN），如 `host123.example.com`，以减少错误。 - **性能影响**：错误处理可能增加认证延迟；确保配置后测试性能。 - **引用说明**：以上步骤综合了 Kerberos 错误处理的最佳实践，keytab 的唯一性要求[^2]，以及用户映射的优化方法[^3]。 如果问题持续，提供更多错误日志或配置细节，我可以进一步分析。 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值