本文档介绍了在Hive On Spark环境下，如何改变spark-submit.*.properties临时配置文件的生成目录。当系统不允许在/tmp目录写入文件时，通过查看Hive和Spark组件的控制台配置、官网文档以及源码，发现需修改java.io.tmpdir系统属性。具体方法是在HiveServer2启动配置中添加"-Djava.io.tmpdir=目标目录"，然后验证新目录下成功生成了spark-submit配置文件。
1 文档编写目的
在Hive On Spark的模式下，无论是通过Beeline还是hive CLI访问Hive，使用Spark引擎执行SQL语句时，都会在/tmp目录下生成一个spark_submit.*.properties文件。Hive CLI方式会在当前节点/tmp目录生成，使用Beeline方式则会在HiveServer2所在节点的/tmp目录下生成。
一般情况下spark-submit.xxx.properties文件生成在/tmp目录下并没有问题，该文件主要是用向集群提交Spark作业时指定作业的运行参数。
但在一些场景中，由于各种原因不允许往/tmp目录写入文件时，就需要修改生成该文件的目录，本文档主要介绍如何修改该目录。
- 测试环境：CDH6.1.0
2 控制台配置
尝试通过控制台在hive或者spark组件的配置中进行修改
1.查看hive组件，搜索/tmp
从图上可以得知hive组件的配置中原来有关/tmp的配置只有两项，一项为heapdump输出目录，另一项为配置审计过滤条件，均不是配置spark-submit.xxx.properties
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
