hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？

本文链接：https://blog.youkuaiyun.com/MichaelLi916/article/details/139836849

hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？

1. 回顾下 spark 的架构图和部署模式

来自官方的经典的 spark 架构图如下：

上述架构图，从进程的角度来讲，有四个角色/组件：

Cluster manager：An external service for acquiring resources on the cluster (e.g. standalone manager, Mesos, YARN, Kubernetes)
Worker node: Any node that can run application code in the cluster
Driver program：The process running the main() function of the application and creating the SparkContext
Executor: A process launched for an application on a worker node, that runs tasks and keeps data in memory or disk storage across them. Each application has its own executors.
上述四个角色中，Cluster manager 和 Worker，是常驻的静态的资源管理器，是独立于 spark 应用程序之外的；
上述四个角色中，driver 和 executor，是每个 spark 应用程序的运行时动态视图，用户提交的每个 spark 应用程序，都会向资源管理器申请资源，并在申请获得的资源中启动 driver 和 exector 对应的 jvm 进程；
spark 支持多种资源管理器，常见的有 standalone/yarn/k8s/mesos,其中 mesos 目前已经 deprecated 了；
spark deploy mode: spark部署模式：当用户（或框架）提交 spark 应用程序时(从client 客户端提交)，上述 driver 角色可以运行在客户端进程中，也可以运行在从资源管理器申请获得的资源中启动的 jvm 进程中，前者被 spark 称为 client 模式，而后者被 spark 称为 cluster 模式；
用户可以在 spark-defaults.conf 等配置文件中，通过参数 spark.submit.deployMode 指定具体的部署模式；
用户也可以在使用 spark-sumbmit 脚本提交 spark 作业时，通过参数 --deploy-mode，指定具体的部署模式；
Spark is agnostic to the underlying cluster manager. As long as it can acquire executor processes, and these communicate with each other, it is relatively easy to run it even on a cluster manager that also supports other applications (e.g. Mesos/YARN/Kubernetes).
Deploy mode: Distinguishes where the driver process runs. In “cluster” mode, the framework launches the driver inside of the cluster. In “client” mode, the submitter launches the driver outside of the cluster.(Whether to deploy your driver on the worker nodes (cluster) or locally as an external client (client),default: client);
spark.submit.deployMode：The deploy mode of Spark driver program, either “client” or “cluster”, Which means to launch driver program locally (“client”) or remotely (“cluster”) on one of the nodes inside the cluster；

2. hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？

hive 作为跟 hadoop 紧密耦合的的一个重要组件，其调度运行作业使用的资源管理器，就是 yarn;
hive 支持多种计算引擎，常见的有 mr/spark/tez,可以通过 set hive.execution.engine = mr/spark/tez 进行配置；
当 hive 应用使用 spark 引擎运行时，我们称之为 hive on spark；相对应地，当 spark 应用访问 hvie 数据源时，我们称之为 spark on hive;
hive on spark 作业运行时，用户并没有明确指定部署模式，此时 hive on spark 作业，使用的是 client 模式还是 cluster 模式呢？
查看 hs2 源码可知，hive on spark 作业，是 hs2 进程作为 spark 客户端，通过调用 spark-submit 脚本提交的，而 spark 相关的配置参数，有一部分是用户通过 spark-defaults.conf 配置的，也有一部分是 hs2 代码写死了的配置;
查看 hs2 日志，可以看到动态生称的配置文件，比如 run/cloudera-scm-agent/process/5666-hive-HIVESERVER2/spark-defaults.conf，其中明确指定了spark.master=yarn, 而该配置文件中 spark.submit.deployMode 的值，取决于 spark-defaults.conf中的配置；
更进一步，在 beeline 中，通过命令 “set spark.submit.deployMode” 查看可知，hive on spark 的 deployMode 固定为 cluster，无论 spark-defauls.conf 中 spark.submit.deployMode 配置如何；
更进一步，在 beeline 中，通过命令 “set spark.submit.deployMode=client” 手动指定 hive on spark 的deployMode 为 client ，然后提交 hive on spark 作业，则这些作业会因为 spark jvm 进程启动失败而报错;

综上所述：
hive on spark 模式下，hs2 承载了 spark 客户端的角色，hs2 通过 spark-submit脚本提交 spark 作业；
无论用户如何配置 spark-defaults.conf, hive on spark 固定使用的都是 yarn cluster 模式；
如果用户在 beeline 中，通过命令 “set spark.submit.deployMode=client” 手动指定 hive on spark 的deployMode 为 client 后，则此后提交的 hive on spark 作业会因为 spark jvm 进程启动失败而报错;
hs2 中，hive on spark 的两个核心的相关源码类是:org.apache.hive.spark.client.SparkClientImpl/org.apache.hive.spark.client.RemoteDriver;
通过命令 “set spark.submit.deployMode=client” 手动指定 hive on spark 的deployMode 为 client 后， hive on spark 作业失败的日志如下：

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTa