运行spark任务操作hive时报错

心动（大数据进阶）

已于 2024-07-30 19:47:09 修改

阅读量276

点赞数 2

文章标签： spark

于 2024-07-30 19:46:58 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_56130021/article/details/140804724

版权

报错信息：

java.lang.RuntimeException: Cannot create staging directory 'hdfs://hdfs-cluster/user/hive/warehouse/ads.db/user_active1/.hive-staging_hive_2024-07-30_19-26-43_695_4623446905697787352-1': Permission denied: user=22383, access=WRITE, inode="/user/hive/warehouse/ads.db/user_active1":root:root:drwxr-xr-x

解决方案：

将集群上面的/opt/installs/hadoop3.1.4/etc/hadoop/目录下的hdfs-site.xml中添加下面代码

	<property>
	　　　　　<name>dfs.permissions.enabled</name>
	　　　　　<value>false</value>
	　　　　　<description>如果为"true"，则在HDFS中启用权限检查;如果为"false"，则关闭权限检查;默认值为"true"。</description>
	　</property>

注意将分布式集群上的都需要更改！！！