Spark查询Hive表报failed to save roles to cache file

本文详细描述了在SparkSql中使用YARNclient模式读取Hive表时遇到的错误,涉及文件不存在和权限问题。解决方法强调了确保所有NodeManager节点上ranger配置文件夹的创建和权限设置,同时给出了配置文件示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述:

使用Spark Sql以yarn client模式读取hive表时报错:

failed to save roles to cache file '/opt/bigdata/xxx/xxx/xxx/sparkSql_Hive_roles.json'

org.apache.ranger.plugin.util.RangerRolesProvider.saveToCache(RangerRolesProvider.java:312)

java.io.FileNotFoundException:/opt/bigdata/xxx/xxx/xxx/sparkSql_Hive_roles.json (No such file or directory)

.....

failed to save policies to cache file '/opt/bigdata/xxx/xxx/xxx/sparkSql_Hive.json'

Caused by: java.io.IOException: Unable to create range policy cache directory at /opt/bigdata/xxx/xxx/xxx/sparkSql_Hive_roles.json

解决方法:

driver运行的机器上并不存在报错的目录路径,手动创建并赋权限解决。

但是如果使用yarn cluster模式运行就要保证所有的NodeManager节点上都存在相应的目录路径,最好设置ranger.plugin.hive.policy.cache.dir值为一个相对路径比如:

<property>

        <name>ranger.plugin.hive.policy.cache.dir</name>

        <value>policycache</value>

</property>

这个配置项可能出现在ranger-hive-security.xml或者ranger-spark-security.xml文件里

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoderFusionZhu

不要打赏太多哦!我喝速溶就行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值