集群集成Kerberos过程中遇到的坑

1、hdfs用户提交mr作业无法运行

INFO mapreduce.Job: Job job_1442654915965_0002 failed with state
FAILED due to: Application application_1442654915965_0002 failed 2
times due to AM Container for appattempt_1442654915965_0002_000002
exited with exitCode: -1000 due to: Application
application_1442654915965_0002 initialization failed (exitCode=255)
with output: Requested user hdfs is not whitelisted and has id
496,which is below the minimum allowed 1000

原因:

Linux user 的 user id 要大于等于1000,否则会无法提交Job。例如,如果以hdfs(id为490)的身份提交一个job,就会看到以上的错误信息
解决方法:

1.使用命令 usermod -u 修改一个用户的user id
2.修改Clouder关于这个该项的设置,Yarn->配置->min.user.id修改为合适的值,当前为0

2、提交mr作业时可以运行但是有错误信息

INFO mapreduce.Job: Job job_1442722429197_0001 failed with state
FAILED due to: Application application_1442722429197_0001 failed 2
ti

### 解决Active Directory与Kerberos集成时可能出现的错误 当尝试将Active Directory (AD) 集成Kerberos环境中时,可能会遇到多种类型的错误。这些错误通常涉及配置不一致、网络连接问题或权限不足等问题。以下是针对常见错误及其解决方案的分析: #### 1. **Keytab文件生成失败** 如果无法成功生成用于Kerberos认证的关键`keytab`文件,则可能是由于以下原因造成的: - 用户账户缺乏足够的权限来创建密钥。 - 域控制器上的服务主体名称(SPN)未正确定义。 解决方法包括验证SPN设置并确保其唯一性[^1]。可以通过运行命令 `setspn -L <username>` 来检查现有SPN列表,并通过管理员权限重新注册所需的SPN。 #### 2. **单向跨域信任建立失败** 为了统一用户账号数据,在Windows AD和Kerberos之间实现一方向的信任关系至关重要。此过程可能因域名解析问题或者防火墙阻止端口通信而中断[^2]。确认DNS记录准确性以及开放必要的TCP/UDP端口(如389 LDAP),对于顺利构建这种信任机制非常重要。 #### 3. **Ranger同步失败** Apache Ranger作为安全管理工具之一,负责从Windows AD拉取最新的用户信息以便授予适当的操作权限给对应用户组成员。然而,假如EMR集群内的节点未能及时更新来自AD的新变更,则可能导致访问控制方面的混乱状况发生。此时应审查SSSD组件的工作状态是否正常运作,同时保证所有参与方都能够无障碍地接触到中央身份存储库中的最新资料版本号。 另外值得注意的是,把Ranger服务器加入ElasticMapReduce-master安全群组是一项良好的实践做法;同样地,为了让整个系统更加健壮可靠,还应该允许Winows AD接受来自于该环境内部其他组成部分发起的数据请求操作——即确保特定范围内的IP地址能够触及目标主机的服务监听端口号(比如默认情况下LDAP使用的389端口)。当然也可以简化处理流程,直接把AD本身纳入同一个防护策略集合之中去管理即可满足需求[^3]。 ```bash # Example command to test connectivity between nodes and AD server on port 389. telnet <ad_server_ip> 389 ``` 以上措施有助于排查并修复大部分关于Active Directory同Kerberos相结合过程中所遭遇的技术难题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值