.hive-staging_hive临时文件处理

原创于 2025-02-27 15:21:47 发布 · 450 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

.hive-staging_hive临时文件不删除原因：
通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时，会产生该目录，用于临时存放执行结果，比如insert overwrite会将结果暂存到该目录下，待任务结束，将结果复制到hive表中。hql任务执行失败时，这些临时文件和目录不会被自动删除掉，直到有相关的hql执行成功时，才会自动删掉。

解决办法：
hive-site.xml 服务高级配置代码段（安全阀）和客户端高级配置代码段（安全阀），增加配置：

<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>