Spark基础学习笔记06：搭建Spark On YARN集群

最新推荐文章于 2025-03-03 02:14:48 发布
最新推荐文章于 2025-03-03 02:14:48 发布
阅读量1.2k 收藏 6
点赞数
文章标签： spark 学习 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lwmzl00/article/details/125328019
版权
本文介绍了如何搭建Spark On YARN集群，包括client和cluster两种提交方式的执行流程，并详细阐述了提交Spark应用到YARN集群运行的步骤及结果查看方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

零、本讲学习目标
学会搭建Spark On YARN模式的集群
能够将Spark应用程序提交到集群运行
一、Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模式一样，也分为client和cluster两种提交方式。
（一）client提交方式
Spark On YARN的client提交方式提交应用程序后的主要进程有：SparkSubmit、ResourceManager、NodeManager、CoarseGrainedExecutorBackend、ExecutorLauncher，运行架构如下图所示：
在这里插入图片描述

与Standalone模式的client提交方式类似，客户端会产生一个名为SparkSubmit的进程，Driver程序则运行于该进程中，且ResourceManager的功能类似于Standalone模式的Master；NodeManager的功能类似于Standalone模式的Worker。当Spark程序运行时，ResourceManager会在集群中选择一个NodeManager进程启动一个名为ExecutorLauncher的子进程，该子进程是Spark的自定义实现，承担YARN中的ApplicationMaster角色，类似Map

最低0.47元/天 解锁文章
lwm0810
关注
搭建Spark On YARN集群
weixin_55988146的博客
05-23 424
一、搭建Spark On YARN集群 搭建Spark Standalone集群 （二）修改Spark环境配置文件 存盘退出后，执行命令：source spark-env.sh，让配置生效 三、提交Spark应用到集群运行 （一）启动HDFS和YARN 执行命令：start-dfs.sh 执行命令：start-yarn.sh （二）运行Spark应用程序 查看Spark应用程序$SPARK_HOME/examples/jars/spark-examples_2.11-.
Spark基础学习笔记：搭建spark on yarn 集群
fafa_1111的博客
06-16 724
spark
Spark on Yarn集群搭建
hl93hnrz的专栏
02-22 367
软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Nameno
Spark核心之05：sparkOnYarn、资源参数、调度模式、资源分配策略、shuffle机制??
最新发布
我的博客
03-03 1092
Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性能高低。Spark也会有自己的shuffle实现过程。
SparkOnYarn专题一SparkOnYarn环境搭建
热门推荐
qq_824203453_的博客
06-13 1万+
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678372 交流QQ: 824203453 欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492 hadoop版本： 2.8.0 spark 版本： 2...
Spark on Yarn 环境搭建
weixin_37536020的博客
07-02 1375
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。
Spark on yarn搭建
GPFXTX的博客
03-05 408
Spark 支持三种模式的部署方法，分别为standalone、yarn、mesoss, 这篇主要讲述yarn的部署方法 一、准备 1.1 说明： 选spark的时候要注意与hadoop版本对应； spark基于yarn来管理，spark只能安装在NodeManager节点上 1.2 服务器资源准备 本地已经搭建了7节点的hadoop(HA)集群 10...
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1217
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
Spark On Yarn搭建
weixin_41070431的博客
06-11 359
实现步骤：1）搭建好Hadoop（版本，2.7）集群2）安装和配置scala（版本，2.11）上传解压scala-2.11.0.tgz—>配置 /etc/profile文件配置示例：3）在NodeManager节点（04,05,06节点）上安装和配置Spark4）进入Spark安装目录的Conf目录，配置：spark-env.sh 文件配置示例：export JAVA_HOME=/usr/l...
spark yarn模式的搭建.docx
06-15
Spark On Yarn完全分布式集群环境搭建文档。 分为如下几部分： 1、环境的准备; 2、Zookeeper完全分布式搭建; 3、Hadoop2.0 HA集群搭建步骤介绍; 4、Spark On Yarn搭建介绍; 5、集群启动介绍; 最新最全的java培训视频教程，供大家学习与技术分享。下载链接： 百度网盘链接：https://pan.baidu.com/s/133mIoFlCCmTDxxkb7RJ1Og 提取码：p3yx
Spark On Yarn集群环境搭建
ZK_小小世界的专栏
03-08 3032
一、Scala安装 下载scala安装包，地址：http://www.scala-lang.org/download/ 配置环境变量 下载完成后，解压到指定的目录下，在/etc/profile文件中配置环境变量：export SCALA_HOME=/usr/local/jiang/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin 验证scala
Spark on Yarn集群模式搭建及测试
默默发展，无声壮大~
08-24 2872
Apache Spark是一个快速的、通用的大数据处理框架，它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建Spark on Yarn集群模式环境，步骤详细，代码量大，准备发车~
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 2139
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
Spark环境搭建——on yarn集群模式
大数据梦想家
02-20 8373
        本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 ...
Spark on Yarn环境搭建
qq_44666176的博客
11-26 2680
1，解压缩spark安装文件 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 2，修改spark目录名称 mv spark-3.0.0-bin-hadoop3.2 spark-yarn 3，修改hadoop的yarn-site.xml文件，新增下面内容 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认 是 true --> <property> <name&gt
环境搭建-Spark on YARN
半吊子Kyle的博客
08-16 2080
环境搭建-Spark on YARN模式说明搭建准备安装及配置启动及测试 模式说明 Spark Standalone Mode - Spark 2.4.5 Documentation (apache.org) Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的 Master-Slaves 结构集群一样，存在着 Master 单点故障的问题，该模式基于 Zookeeper 实现 HA 搭建准备 环境准备 云服务器 3 台 node1/172.17.0.8
spark2.x学习笔记：5、spark on yarn模式
03-16
Spark on YARN模式是一种在Hadoop集群上运行Spark应用程序的方式。它允许Spark应用程序在Hadoop集群上共享资源，并利用Hadoop的资源管理器来管理Spark应用程序的资源分配和调度。 在Spark on YARN模式下，Spark应用程序被打包成一个可执行的JAR文件，并提交到Hadoop集群上的YARN资源管理器。YARN资源管理器会为Spark应用程序分配资源，并在集群上启动Spark执行器。Spark执行器会在分配给它的资源上启动Spark应用程序，并执行Spark作业。 Spark on YARN模式的优点包括： 1.资源共享：Spark应用程序可以与其他Hadoop应用程序共享集群资源，从而提高资源利用率。 2.资源管理：YARN资源管理器可以管理Spark应用程序的资源分配和调度，从而提高集群的资源利用率。 3.可扩展性：Spark on YARN模式可以轻松地扩展到大规模集群，以满足不断增长的数据处理需求。 4.灵活性：Spark on YARN模式可以与不同版本的Hadoop集成，从而提供更大的灵活性。 总之，Spark on YARN模式是一种高效、可扩展和灵活的方式，可以在Hadoop集群上运行Spark应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值