spark写hive分区表，文件move失败

最新推荐文章于 2023-09-24 21:32:05 发布

stonehigher125

最新推荐文章于 2023-09-24 21:32:05 发布

阅读量1k

点赞数

文章标签： spark hive hive动态分区

本文链接：https://blog.youkuaiyun.com/stonehigher125/article/details/116062442

版权

在尝试使用Spark写入Hive分区表时遇到文件move失败的问题，错误显示为HiveException。解决方案涉及设置'hive.load.data.owner'属性，根据提交任务的用户（如root或spark）进行相应配置。此外，权限问题也可能导致此错误，可以通过禁用'dfs.permissions.enabled'来解决。参考链接提供了更详细的Hive JIRA问题跟踪。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.写分区文件失败

错误日志

出现org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: Load Data failed for

a.HiveException: Load Data failed for hdfs://chinacreator/warehouse/tablespace/managed/hive/qt_debug_dt/.hive-staging_hive_2021-04-23_13-14-00_293_4321314254221670332-1/-ext-10000/org_id=qa1 as the file is not owned by hive and load data is also not ran as hive

解决方式:spark-shell是用root提交的话，

<property>
<name>hive.load.data.owner</name>
<value>root</value>
</property>

spark-shell是用spark提交的话，

<property>
<name>hive.load.data.owner</name>
<value>spark</value>
</property>

首先是先看清日志提示，反复想，再去百度找了很多资料，不然很多找不到答案

权限问题: