0556-6.1.0-Hive On Spark修改作业临时配置文件生成目录

1 文档编写目的

在Hive On Spark的模式下，无论是通过Beeline还是hive CLI访问Hive，使用Spark引擎执行SQL语句时，都会在/tmp目录下生成一个spark_submit.*.properties文件。Hive CLI方式会在当前节点/tmp目录生成，使用Beeline方式则会在HiveServer2所在节点的/tmp目录下生成。

一般情况下spark-submit.xxx.properties文件生成在/tmp目录下并没有问题，该文件主要是用向集群提交Spark作业时指定作业的运行参数。

但在一些场景中，由于各种原因不允许往/tmp目录写入文件时，就需要修改生成该文件的目录，本文档主要介绍如何修改该目录。

• 测试环境：CDH6.1.0

2 控制台配置

尝试通过控制台在hive或者spark组件的配置中进行修改

1.查看hive组件，搜索/tmp

从图上可以得知hive组件的配置中原来有关/tmp的配置只有两项，一项为heapdump输出目录，另一项为配置审计过滤条件，均不是配置spark-submit.xxx.properties的生成目录。

2.查看spark组件，搜索/tmp