Spark----【spark on yarn】

最新推荐文章于 2025-02-07 18:10:55 发布

原创最新推荐文章于 2025-02-07 18:10:55 发布 · 306 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #yarn

大数据同时被 3 个专栏收录

44 篇文章

订阅专栏

spark

10 篇文章

订阅专栏

yarn

3 篇文章

订阅专栏

本文详细介绍了如何在YARN上部署和运行Spark，包括Hadoop和Spark的安装配置，以及cluster模式和client模式的运行原理与区别。通过实例展示了计算PI的Spark应用在不同模式下的提交方式。

Spark on Yarn

1. 官方文档

http://spark.apache.org/docs/latest/running-on-yarn.html

2. 配置安装

1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。

2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端用于提交任务

export JAVA_HOME=/export/servers/jdk1.8

export HADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoop

3.启动HDFS和YARN

3. 运行模式 (cluster模式和client模式)

cluster模式

官网案例计算PI

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.1.3.jar \
10

如果cluster可以运行 , client不能运行 , 就将下面配置添加到yarn-site.xml中即可 , 然后再分发到其他机器上即可

# 关闭虚拟机内存检查（避免虚拟机内存不足时，无法运行）
<property>  
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value>  
</property>

client模式

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 1 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.1.3.jar \
10

spark-shell必须使用client模式

spark-shell --master yarn --deploy-mode client

两种模式的区别

cluster模式：Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。故当终端停止并不会影响它最终的运行

client模式：Driver运行在Client上，应用程序运行结果会在客户端显示，所有适合运行结果有输出的应用程序（如spark-shell） , 因此当终端停止时就不会继续运行

原理

cluster模式：

在这里插入图片描述

Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。具体过程：

由client向ResourceManager提交请求，并上传jar到HDFS上

这期间包括四个步骤：

a).连接到RM

b).从RM的ASM（ApplicationsManager ）中获得metric、queue和resource等信息。

c). upload app jar and spark-assembly jar

d).设置运行环境和container上下文（launch-container.sh等脚本)

ResourceManager为该应用程序分配第一个Container，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationMaster）
NodeManager启动ApplicationMaster，并向ResourceManager注册
ApplicationMaster从HDFS中找到jar文件，启动SparkContext、DAGscheduler和YARN Cluster Scheduler
ApplicationMaster向ResourceManager注册申请container资源
ResourceManager通知NodeManager分配Container（每个container对应一个executor）
Spark ApplicationMaster直接和container（executor）进行交互，完成这个分布式任务。

client模式：
在这里插入图片描述

在client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。结束掉终端，相当于kill掉这个spark应用。一般来说，如果运行的结果仅仅返回到terminal上时需要配置这个。

客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显示，Driver以进程名为SparkSubmit的形式存在。

spark on yarn图解
在这里插入图片描述