spark application 同时运行实行数据共享

最新推荐文章于 2025-02-26 18:38:06 发布

原创最新推荐文章于 2025-02-26 18:38:06 发布 · 873 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark application 同时运行实行数据共享

本文介绍Spark中DynamicResourceAllocation功能，用于优化集群资源使用。为避免executor被移除导致的数据丢失，引入External Shuffle Service，托管计算结果，确保数据可被其他executor重用。配置yarn-site.xml并正确放置spark-yarn-shuffle.jar至Hadoop lib目录至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：理解：

spark要实现多个application同时运行，涉及到多个application的资源共享。
在spark on yarn模式下，yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源，需要使用spark的Dynamic Resource Allocation 功能动态资源分配

二：问题

Dynamic Resource Allocation有一个问题，就是executor空闲的时候，executor会被remove，但是executor执行后的数据结果很可能被其它executor使用，为了解决这个问题spark需要启动external shfuffle service

三：操作

1.spark需要启动external shfuffle service，配置yarn-site.xml文件

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>spark_shuffle</value>
  </property>
  <property>
   <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
   <value>org.apache.spark.network.yarn.YarnShuffleService</value>
  </property>

2.将spark--yarn-shuffle.jar放到hadoop的yarn的lib库里面，
我的spark版本是1.3.1，也就是 spark-1.3.1-yarn-shuffle.jar 文件
我的yarn的lib库目录为：/usr/local/hadoop2.6.0/share/hadoop/yarn/lib/
我的hadoop安装目录/usr/local/hadoop2.6.0/
3. 如果spark-1.3.1-yarn-shuffle.jar 文件没有放到正确的目录，spark application在启动的时候会卡在accepted state，
会报错：

15/07/06 10:49:15 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:16 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:17 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)

四：托管作用

external shuffle service的作用是托管已经被remove的executor的计算结果数据，当其它running的executor需要使用这些数据的时候，向external shuffle service请求数据
官网：https://spark.apache.org/docs/1.2.0/job-scheduling.html#dynamic-resource-allocation