spark on yarn

最新推荐文章于 2025-05-23 19:11:05 发布
原创 最新推荐文章于 2025-05-23 19:11:05 发布 · 2.7w 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hadoop #mapreduce #yarn

本文详细介绍了如何在YARN环境下配置Spark与Hadoop，包括配置yarn-site.xml文件以支持mapreduce_shuffle和spark_shuffle，设置环境变量确保Spark正确访问Hadoop资源，以及如何通过spark-submit命令提交不同类型的作业，如PI计算和文本处理任务。同时，提供了在yarn-cluster和yarn-client模式下执行作业的示例，并强调了配置YARN和HDFS的前置条件。

说明

这篇文章记录下 spark提交左右在yarn上运行

hadoop配置

主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffle

  • 只使用mapreduce_shuffle

    <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
  <value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>
    • 使用mapreduce_shuffle & spark_shuffle
    <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle,spark_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
  <value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>

当提交hadoop MR 就启用,mapreduce_shuffle,当提交spark作业 就使用spark_shuffle,但个人感觉spark_shuffle 效率一般,shuffle是很大瓶颈,还有 如果你使用spark_shuffle 你需要把spark-yarn_2.10-1.4.1.jar 这个jar copy 到HADOOP_HOME/share/hadoop/lib下 ,否则 hadoop 运行报错 class not find exeception

spark配置

$SPARK_HOME/conf/spark-env.sh

export YARN_CONF_DIR=/home/cluster/apps/hadoop/etc/hadoop

export JAVA_HOME=/home/cluster/share/java1.7
export SCALA_HOME=/home/cluster/share/scala-2.10.5
export HADOOP_HOME=/home/cluster/apps/hadoop
export HADOOP_CONF_DIR=/home/cluster/apps/hadoop/etc/hadoop
export SPARK_MASTER_IP=master

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/home/cluster/apps/hadoop/lib/native
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/cluster/apps/hadoop/share/hadoop/yarn/*:/home/cluster/apps/hadoop/share/hadoop/yarn/lib/*:/home/cluster/apps/hadoop/share/hadoop/common/*:/home/cluster/apps/hadoop/share/hadoop/common/lib/*:/home/cluster/apps/hadoop/share/hadoop/hdfs/*:/home/cluster/apps/hadoop/share/hadoop/hdfs/lib/*:/home/cluster/apps/hadoop/share/hadoop/mapreduce/*:/home/cluster/apps/hadoop/share/hadoop/mapreduce/lib/*:/home/cluster/apps/hadoop/share/hadoop/tools/lib/*:/home/cluster/apps/spark/spark-1.4.1/lib/*

SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:8020/var/log/spark"

参数解释:
YARN_CONF_DIR:指定yarn配置所在路径,如果不增加这行,在提交作业时候增加如下代码:

export YARN_CONF_DIR=/home/cluster/apps/hadoop/etc/hadoop

HADOOP_HOME:指定hadoop 根目录
HADOOP_CONF_DIR:hadoop配置文件,这个是在spark,如操作hdfs时候读取hadoop配置文件
SPARK_LIBRARY_PATH:告诉spark读取本地的.so文件
SPARK_CLASSPATH:spark加载各种需要的jar包
SPARK_HISTORY_OPTS:配置启动spark history 服务

前置条件

如果操作hdfs,需要启动namenode&datanode
还有yarn服务器,resourcemanger&nodemanager

 /home/cluster/apps$ jps
29368 MainGenericRunner
29510 Jps
22885 Main
29210 NodeManager
28952 NameNode
29158 ResourceManager
29023 DataNode

提交作业

  1. PI:

    • yarn-cluster模式:
    /home/cluster/apps/spark/spark-1.4.1/bin/spark-submit --master yarn-cluster --executor-memory 3g   --driver-memory 1g  --class org.apache.spark.examples.SparkPi /home/cluster/apps/spark/spark-1.4.1/examples/target/scala-2.10/spark-examples-1.4.1-hadoop2.3.0-cdh5.1.0.jar  10
    • yarn-client模式:
    /home/cluster/apps/spark/spark-1.4.1/bin/spark-submit --master yarn-client --executor-memory 3g   --driver-memory 1g  --class org.apache.spark.examples.SparkPi /home/cluster/apps/spark/spark-1.4.1/examples/target/scala-2.10/spark-examples-1.4.1-hadoop2.3.0-cdh5.1.0.jar  10

  2. wordcount:

    • yarn-cluster模式:
    /home/cluster/apps/spark/spark-1.4.1/bin/spark-submit --master yarn-cluster --executor-memory 3g   --driver-memory 1g  --class org.apache.spark.examples.JavaWordCount /home/cluster/apps/spark/spark-1.4.1/examples/target/scala-2.10/spark-examples-1.4.1-hadoop2.3.0-cdh5.1.0.jar /data/hadoop/wordcount/
    • yarn-client模式:
    /home/cluster/apps/spark/spark-1.4.1/bin/spark-submit --master yarn-client --executor-memory 3g   --driver-memory 1g  --class org.apache.spark.examples.JavaWordCount /home/cluster/apps/spark/spark-1.4.1/examples/target/scala-2.10/spark-examples-1.4.1-hadoop2.3.0-cdh5.1.0.jar /data/hadoop/wordcount/

结果截图

这里写图片描述
这四条记录从下往上看,分别是PI:yarn-cluster模式,PI:yarn-client模式,wordcount:yarn-cluster模式,wordcount:yarn-client模式

尊重原创,拒绝转载
http://blog.youkuaiyun.com/stark_summer/article/details/48661317

YARN HA 搭建以及自动故障转移测试
qq_43613793的博客
03-30 1188
yarn-site.xml文件配置 <configuration> <!--指定可以在YARN上运行MapReduce程序--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--YARN HA配置-->
Hadoop-MapReduce与Yarn配置文件
wudidahuanggua的博客
09-18 1504
mapreduce与yarn配置文件的简单介绍
Spark动态资源分配在yarn的配置
浅汐
02-24 951
配置文件$SPARK_HOME/conf/spark-defaults.conf$HADOOP_HOME/conf/yarn-site.xml1、启用动态资源分配功能在spark-defaults.conf 中添加spark.dynamicAllocation.enabled=true配置其他参数：spark.dynamicAllocation.minExecutors 最小executor数量s...
Spark学习笔记之-Spark on yarn（External Shuffle Service）
dandykang的博客
09-01 8842
Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle 数据，给其他Executor提供shuffle数据。     当Executor进程任务过重，导致GC而不能为其 他Executor提供shuffle数据时，会影响任务运行。     这里实际上是利用External Shuffle Service 来提升性能，External s
Spark Shuffle Service简介与测试
跟着大数据和AI去旅行
02-04 2262
Spark Shuffle Service 简介与测试
Spark on YARN
麦当当的博客
07-15 787
这是 Spark 的默认配置文件，可以在这里设置 Spark 作业的一些默认参数，比如 master URL（yarn）、deploy mode（client 或 cluster）、executor 内存等。这是 Spark 的环境配置文件。你需要设置一些环境变量，比如 SPARK_HOME, HADOOP_CONF_DIR 等。这是 YARN 的配置文件，通常位于 Hadoop 配置目录中。你需要确保这个文件在 Spark 配置中可以访问。
Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践
天冬忘忧的博客
11-06 2436
本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面理解 Spark on YARN 这一重要的大数据技术应用。
Spark on Yarn 高可用模式部署流程
xhaoDream的博客
05-23 1278
本文介绍了如何配置Spark和Yarn的高可用（HA）环境，以确保在大规模数据处理中避免单点故障。
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Cloudera 版spark 解决spark_shuffle aux-service 缺失的问题
jxhaha的博客
04-12 2561
CDHwebUi-> YARN (MR2 Included) -> Configuration -> NodeManager Default Group -> Advanced 在 “NodeManager Advanced Configuration Snippet (Safety Valve) for yarn-site.xml” 弹出框中粘贴如下： yarn.nodemanager
spark配置速查
dinl_vin的博客
09-02 1209
配置项五花八门?那就整理一下! * CPU相关 1. spark.cores.max 集群分配给spark的最大CPU数 2. spark.executor.cores Executor内划分的CPU- Core，一般是2~4个比较合适 3.spark.task.cpus 执行每个Task的CPU数量，一般都是1不用动 4. spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数
MapReduce中Shuffle原理剖析和资源调度 框架YARN详解
weixin_45354496的博客
06-20 357
MapReduce中Shuffle原理详解 1、概述 1、MapReduce 中，map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的 一个流程，这个流程就叫 Shuffle； 2、Shuffle: 数据汇洗 就是将 maptask 输出的处理结果数据，分发给 reducetask。 2、主要流程 Shuffle 是 MR 处理流程中的一个过程，它的每一个处理步骤是分散在各个 map task 和 reduce task 节点上完成的，整体来看，分为4个操作： 1
MapReduce(五) mapreduce的shuffle机制 与 Yarn
weixin_30507269的博客
04-19 159
一、shuffle机制 1、概述 （1）MapReduce 中， map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的一个流程，这个流程就叫Shuffle；（2）Shuffle: 数据混洗 ——（核心机制：数据分区，排序，缓存）；（3） 具体来说：就是将 maptask 输出的处理结果数据，分发给 reducetask，并在分发的过程中，对数据...
Spark学习_3（Spark集群YARN模式安装）
weixin_38942735的博客
06-16 795
Spark on YARN 引言： Spark 可以跑在很多集群上，有standalone，Yarn，mesos模式。 satandalone模式采用spark自带的集群资源管理器，效率较低。但不管你Spark采用的是何种集群，它的代码都是一样的，所以在做实验时，配置伪分布式也可以练习代码学习spark。有很多博客在搭建spark集群时将yarn模式和standalone模式混淆了。故本文将练习搭建在yarn模式上。 1.配置安装 在安装配置之前，需先完成hadoop的配置安装，具体安装方法可参考前文。
hadoop之MR on yarn 架构详解与shuffle剖析
君永夜
02-26 1245
目录 1.MapReduce简介 2.Container简介 3.vcore简介 4.MR on yarn 架构 4.1架构图 4.2相关角色介绍 4.3流程详解 5.MR 与 yarn常用命令 6.Shuffle剖析 1.MapReduce简介 大数据最早的分布式计算框架，如今企业开发已不会直接使用java代码写MR代码运行作业，因为只有map、reduce两种函数，代码很...
关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
Hiwes的博客
11-15 4848
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项
热门推荐
samhacker的专栏
01-20 2万+
在hadoop-2.0.3-alpha 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错： 2014-01-19 22:35:04,309 F
hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项
weixin_30778805的博客
07-12 3724
在hadoop-3.0.0-alpha4 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错： java.lang.IllegalArgumen...
解析Hadoop新一代MapReduce框架Yarn
iteye_3276的博客
02-16 470
更快、更强——解析Hadoop新一代MapReduce框架Yarn 摘要：本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不...
spark on yarn
最新发布
11-25
<think> 我们正在讨论Spark在YARN上的使用、配置及运行机制。根据用户提供的引用内容，特别是引用[1]和引用[2]中关于YARN上运行Spark和MapReduce的信息，我们可以进行如下组织： 1. **运行模式**：YARN-client和YARN-cluster模式的区别（引用[1]提到Driver的位置）。 2. **提交作业**：如何提交Spark作业到YARN集群。 3. **配置**：关键配置项，特别是内存配置（包括PermGen，虽然JDK1.8后移除了PermGen，但用户引用中提到了，所以需要说明）。 4. **运行机制**：结合引用[2]中MapReduce在YARN上的运行机制，类比Spark在YARN上的运行机制（因为Spark的ApplicationMaster也是类似的工作方式）。 5. **常见问题**：比如内存配置问题、调试等。 注意：用户引用[3]是关于MapReduce的，但我们可以忽略，因为用户明确要求Spark。 下面开始组织回答： ### Spark on YARN 详解 #### 一、运行模式 Spark支持两种模式在YARN上运行： 1. **YARN-client模式**（适用于交互式场景）： - Driver运行在**提交作业的客户端机器**上 - Executor运行在YARN容器中 - 日志可直接在客户端查看，但客户端必须保持在线 2. **YARN-cluster模式**（适用于生产环境）： - Driver运行在**YARN集群的某个容器**中 - Executor同样运行在YARN容器中 - 客户端提交作业后即可断开连接 > **注意**：在JDK1.8之前，YARN-cluster模式下Driver的JVM永久代（PermGen）可能使用默认值（如82MB），容易导致`OutOfMemoryError`。需通过`-XX:MaxPermSize`调整（但JDK1.8及以上已移除PermGen，改为Metaspace）[^1]。 #### 二、作业提交流程 ```mermaid flowchart TD Client[客户端] -->|1.提交应用| RM[ResourceManager] RM -->|2.分配容器| AM[Spark ApplicationMaster] AM -->|3.申请资源| RM RM -->|4.分配容器| NM[NodeManager] NM -->|5.启动Executor| Container[Executor容器] Container -->|6.注册与通信| AM ``` 1. **提交应用** 使用`spark-submit`提交作业： ```bash spark-submit --master yarn \ --deploy-mode cluster \ # 或client --class org.apache.spark.examples.SparkPi \ /path/to/examples.jar 100 ``` 2. **资源分配** - ResourceManager分配容器启动ApplicationMaster（AM） - AM向RM申请Executor资源（容器） - 每个Executor容器运行一个JVM进程 3. **任务执行** - AM将任务分发给Executor执行 - Executor通过心跳向AM汇报状态 #### 三、关键配置 在`spark-defaults.conf`中配置： | 配置项 | 说明 | 示例值 | |--------|------|--------| | `spark.yarn.am.memory` | AM内存 | 1g | | `spark.executor.memory` | Executor内存 | 2g | | `spark.executor.cores` | Executor核数 | 2 | | `spark.driver.memory` | Driver内存（client模式） | 1g | 环境变量配置（`spark-env.sh`）： ```bash export HADOOP_CONF_DIR=/etc/hadoop/conf # 指向Hadoop配置目录 export YARN_CONF_DIR=/etc/hadoop/conf # 同上 ``` #### 四、内存优化指南 1. **堆内存管理** - Executor总内存 = `spark.executor.memory` + `spark.executor.memoryOverhead` - 内存溢出时增加`spark.yarn.executor.memoryOverhead`（默认executor内存的10%） 2. **Metaspace配置**（JDK1.8+） ```bash spark-submit --conf spark.executor.extraJavaOptions="-XX:MaxMetaspaceSize=256m" ... ``` 3. **堆外内存优化** 调整`spark.memory.offHeap.size`启用堆外内存 #### 五、问题排查 1. **查看日志** ```bash yarn logs -applicationId <app_id> ``` 2. **监控资源** - YARN Web UI：`http://<rm-address>:8088` - Spark Web UI：通过`http://<am-address>:4040`查看（需配置历史服务器） #### 六、与MapReduce对比 | **特性** | **MapReduce on YARN** | **Spark on YARN** | |----------|-----------------------|-------------------| | 计算模型 | 多阶段Map/Reduce | 内存迭代计算 | | 任务启动 | 每个任务单独JVM | Executor进程复用 | | 数据缓存 | HDFS读写 | 内存+磁盘缓存 | | 适用场景 | 批处理 | 批处理+流处理+机器学习 | --- ### 相关问题 1. 如何解决Spark on YARN的`NoSuchMethodError`类冲突问题？ 2. 如何动态调整Spark on YARN的Executor数量？ 3. Spark on YARN如何配置高可用（HA）？ 4. 如何优化Spark Shuffle过程在YARN上的性能？ 5. 在容器化环境中（如K8s）运行Spark on YARN有哪些注意事项？[^1][^2] </think> ### Spark on YARN 全面解析 Spark在YARN上的运行结合了资源管理的高效性和Spark内存计算的灵活性，核心机制如下： #### 一、运行机制与架构 ```mermaid flowchart TD Client[客户端] -->|1.提交应用| RM[ResourceManager] RM -->|2.分配容器| AM[Spark ApplicationMaster] AM -->|3.申请资源| RM RM -->|4.分配容器| NM[NodeManager] NM -->|5.启动Executor| Container[Executor容器] Container -->|6.注册与通信| AM ``` 1. **两种部署模式** - **YARN-client模式** Driver运行在**客户端机器**上，直接控制任务执行（适合调试） ```bash spark-submit --master yarn --deploy-mode client ``` - **YARN-cluster模式** Driver运行在**YARN容器**中（生产环境推荐），需注意JVM配置差异[^1]： ```bash spark-submit --master yarn --deploy-mode cluster ``` 2. **核心组件交互** - ApplicationMaster（AM）：Spark专属AM，负责向RM申请资源 - Executor：运行任务的容器，每个Executor对应一个JVM进程 - 资源本地化：优先将任务调度到数据所在的NodeManager #### 二、关键配置项 在`spark-defaults.conf`中配置： | **配置项** | **说明** | **示例值** | |------------|----------|------------| | `spark.yarn.am.memory` | AM内存 | 1g | | `spark.executor.memory` | Executor堆内存 | 4g | | `spark.executor.cores` | Executor核数 | 2 | | `spark.dynamicAllocation.enabled` | 动态资源分配 | true | **内存组成**： $$ \text{总容器内存} = \text{spark.executor.memory} + \text{spark.executor.memoryOverhead} $$ Executor实际内存包含堆内存 + 堆外内存（默认取`max(384MB, 0.1 * executorMemory)`） #### 三、作业提交流程 1. **提交命令** ```bash spark-submit --master yarn \ --deploy-mode cluster \ --executor-memory 4g \ --num-executors 10 \ --class org.apache.spark.examples.SparkPi \ /path/to/examples.jar 100 ``` 2. **资源申请策略** - 初始申请：AM启动后立即申请`spark.dynamicAllocation.initialExecutors`个Executor - 动态伸缩：根据任务积压情况自动增减Executor（需启用`spark.dynamicAllocation.enabled`） #### 四、调优实践 1. **内存优化** - 解决PermGen问题（JDK1.8前）： ```bash spark-submit --conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" ``` - JDK1.8+优化Metaspace： ```bash spark-submit --conf spark.executor.extraJavaOptions="-XX:MaxMetaspaceSize=512m" ``` 2. **数据本地化** 配置等待本地化任务的超时时间： ```scala spark.locality.wait = 3s // 默认3秒 ``` 3. **Shuffle优化** ```scala spark.shuffle.service.enabled = true // 启用外部Shuffle服务 spark.shuffle.compress = true // 压缩Shuffle输出 ``` #### 五、故障排查 1. **日志查看** ```bash yarn logs -applicationId <app_id> # 获取完整日志 ``` 2. **Web UI监控** - YARN RM UI：`http://<rm-host>:8088` - Spark UI：通过`http://<am-host>:4040`访问（需提前配置端口转发） 3. **常见错误** - **Executor丢失**：检查内存配置，增加`spark.executor.memoryOverhead` - **类冲突**：使用`spark.jars.packages`指定依赖 #### 六、与MapReduce对比 | **特性** | **MapReduce on YARN** | **Spark on YARN** | |----------|------------------------|-------------------| | 计算模型 | 磁盘迭代 | 内存迭代 | | 任务启动 | 每个Task独立JVM | Executor复用JVM | | 延迟 | 高(分钟级) | 低(秒级) | | 适用场景 | 批处理 | 流处理+机器学习 | --- ### 相关问题 1. 如何解决Spark on YARN的`NoSuchMethodError`类冲突问题？ 2. Spark动态资源分配在YARN上的工作原理是什么？ 3. 如何配置Spark Executor的堆外内存防止OOM？ 4. YARN队列资源不足时如何优先保障Spark作业？ 5. 在Kubernetes上部署Spark与YARN部署有何优劣？[^1][^2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值