Hive/Spark/Yarn: User Not Found 错误和 Kerberos / AD / OpenLDAP 之间的关系与解释

已于 2024-05-15 22:00:52 修改
阅读量1.6k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 付费专栏 数据安全：身份认证 ＆ 权限控制 文章标签： yarn user not found container
于 2023-07-31 10:24:47 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/bluishglc/article/details/131953265
本文详细分析了在Hadoop集群中遇到User Not Found错误的原因，涉及Kerberos、AD及OpenLDAP环境下的Yarn ContainerExecutor（DefaultContainerExecutor与LinuxContainerExecutor）和身份认证机制。在非安全模式下，DefaultContainerExecutor使用nobody账户运行作业，而在安全模式下，LinuxContainerExecutor必须使用任务提交用户启动container。在Kerberos集群中，需要确保集群所有节点上有对应Linux用户，而在EMR的OpenLDAP集群中，推荐使用SSSD从LDAP同步用户。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

有时候，当你向Spark或Hive提交作业时，可能会遇到如下的错误：
在这里插入图片描述
提交作业使用的用户是example-user-1，但是Yarn返回的

了解本专栏 订阅专栏 解锁全文
开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致作业失败
明哥的IT随笔
09-16 2016
大数据问题排查系列 - 开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致 spark/hive 作业失败 前言 大家好，我是明哥！ 最近在若干个不同客户现场，都遇到了 大数据集群中开启 Kerberos 后，spark/hive 作业提交到YARN 后，因 YARN Container 启动失败作业无法执行的情况，在此总结下背后的知识点，跟大家分享下，希望大家有所收获。 1 问题1问题现象 某客户现场，大数据集群中开启了 kerberos 安全认证，提交 hive on
OpenLDAP + Ranger +Kerberos 三方集成实现身份、权限认证
z_ran的博客
12-15 2359
OpenLDAP+Kerberos+Ranger集成
CDH集群执行任务报错:User xxx not found
weixin_44868723的博客
03-31 3659
CDH Kerberos
sparkthriftserver提交任务到yarn上找不到用户问题（nslcd）
lin86182824的博客
06-10 596
nslcd
com.alibaba.nacos.api.exception.NacosException: user not found! 的解决办法
最新发布
GSON的博客
06-25 515
解决办法：关于这个问题，是因为在安装配置nacos-server时，配置开启了授权认证，可以在nacos-server配置文件找到。2、项目配置nacos登录账户信息（推荐）直接修改关闭鉴权，auth=false，注册服务的时候，错误，用户未找到，1、关闭鉴权（不推荐，因为不安全）
nacos报错：http error, code=403,msg=user not found!
会飞De琥珀
01-17 9332
nacos 403错误
springboot集成nacos开启权限验证报错：user not found!
毅香雪海的博客
07-31 3228
springboot集成nacos开启权限验证报错：user not found!
搭建微服务时 nacos2.2.2报错403 user not found!
热门推荐
D____L的博客
06-10 2万+
搭建微服务 nacos2.2.2报错403 user not found!
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
明哥的IT随笔
01-05 3378
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用大家好，我是明哥！本片博文，分享下 HIVE 常见的三种 AUTHENTICATION 认证机制，...
python3.6.5基于kerberos认证的hdfs,hive连接调用（含基础环境配置）
u012133034的博客
09-10 4111
1需要准备的环境 yum包（需要先装yum包，再装python包，不然会有问题） yum install openldap-clients -y yum install krb5-workstation krb5-libs -y yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 yum...
java.sql.SQLException: User not found: SA
持续改进
09-25 6646
错误：java.sql.SQLException: User not found: SA        at org.hsqldb.jdbc.Util.sqlException(Unknown Source)        at org.hsqldb.jdbc.jdbcConnection.<init>(Unknown Source)        at org.hsqldb.jd
SpringCould+naocs2版本以上+nginx，错误：http error, code=403,msg=user not found!,和nginx负载均衡nacos2失败原因
LUCIAZZZ的博客
03-20 2741
黑马的springcloud项目用的是旧的nacos，如果使用的是nacos2版本及以上的，需要自己修改，且nacos2新增了两个需要偏移的端口，我们弄端口的时候需要注意一下。这样子可能会看不懂，其实这个的意思是，如果我们配置的是8848端口，那么我们就要为我么的呢grpc通信配置我们的8848+1000端口，不然nacos2就会连接失败。如果我们做的是黑马的项目，那么导入的它的那个sql是旧版本的nacos使用的，新版本的nacos对应的数据库和sql源文件在官方文档里面有，我们要跟着来配置。
JBoss报错User not found SA
Keep learing, and stay fast
11-27 713
JBoss报错User not found SA 是怎么回事
PartialGroupNameException The user name ‘ ‘ is not found. id: : no such user
a18700870087的博客
03-13 1420
原因是：当前认证使用的用户 未在本地linux 中创建，执行：useradd xxx 即可。当前账户认证成功，但是 UserGroupInformation 无法获取用户组信息。CDH 集群Kerberos认证报错：、
hive配置常见问题
Chengliangyao的博客
02-11 645
按照一般教程配置后运行时可能会不成功，可能有以下问题：1、mysql无法连接，3306这个端口绑定了127.0.0.1这个IP，通过netstat -an | grep 3306可以查看到，进入/etc/mysql/mysql.conf.d/mysqld.cnf 找到 bind-address=127.0.0.1 并注释掉，重启mysql2、mysql-connector这个jar包可能过高，在h...
运行hive遇到的一些问题
langka9的博客
03-26 719
1. Transform问题 不能这样用 select usrid, movieid, rating, transform(ts) using “python stamp2date.py” as date from rating_table; 只能这样用 select transform(usrid, movieid, rating, ts) using “python stamp2date.p...
Log4j
using_wisdom的专栏
09-05 585
 
Hive 常见问题点记录
analyzes的博客
01-20 1746
缺少MySQL驱动包 1.1 问题描述 Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Pl...
sudo: /usr/local/hive/bin/hive: command not found
06-07
这个问题可能是由于Hive的安装路径没有被添加到系统的PATH环境变量中。你可以尝试以绝对路径的方式执行Hive脚本，具体操作如下： 1. 打开终端，输入以下命令： sudo /path/to/hive/bin/hive 其中，/path/to/hive是你的Hive安装路径，例如：/usr/local/hive。 2. 输入你的管理员密码，然后按下回车键。 3. 如果你的管理员密码正确，你将会获得root权限，然后就可以执行Hive脚本了。 如果你还是无法执行Hive脚本，可能是因为你的用户没有被授权执行该脚本。你可以联系系统管理员来获取更多帮助。另外，你也可以尝试将Hive的安装路径添加到系统的PATH环境变量中，这样就可以直接执行Hive脚本了。你可以参考以下步骤来进行设置： 1. 打开终端，输入以下命令： sudo nano /etc/profile 2. 在文件末尾添加以下行： export PATH=$PATH:/path/to/hive/bin 其中，/path/to/hive是你的Hive安装路径，例如：/usr/local/hive。 3. 按下Ctrl+X，然后按下Y，最后按下回车键保存文件。 4. 输入以下命令使配置生效： source /etc/profile 现在你就可以直接执行Hive脚本了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值