Spark基础学习笔记06：搭建Spark On YARN集群

Small Fan

已于 2022-06-17 09:07:49 修改

阅读量967

点赞数 1

文章标签： spark 学习 hadoop

于 2022-06-15 16:43:35 首次发布

本文链接：https://blog.youkuaiyun.com/f54268589/article/details/125300120

版权

本文详细介绍了如何搭建Spark On YARN集群，包括Spark Standalone集群的搭建和Spark环境配置文件的修改，接着讲解了如何启动HDFS和YARN，并在集群上运行Spark应用程序，提供了一步步的操作指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

二、搭建Spark On YARN集群

（一）搭建Spark Standalone集群

参看《 Spark基础学习笔记05：搭建Spark Standalone集群》

（二）修改Spark环境配置文件

Spark On YARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装Spark即可，该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。
使用此模式需要修改Spark配置文件spark-env.sh</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Small Fan

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据Spark（十）：环境搭建集群模式 Spark on YARN

Lansonli（蓝深李）的博客

04-11

1102

不需要搭建Spark集群只需要:Yarn+单机版Spark(里面有提交命令,依赖jar,示例jar)当然还要一些配置修改配置当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceManager地址信息），此外需要监控Spark Application，配置历史服务器相关属性。修改spark-env.sh添加内容## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群同步。

Spark on Yarn集群搭建

hl93hnrz的专栏

02-22

361

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Nameno

2 条评论您还未登录，请先登录后发表或查看评论

Spark on Yarn 多机集群部署

最新发布

执笔阑珊的博客

02-22

1057

Spark on Yarn 多机集群部署

Spark on Yarn集群搭建详细过程

cihongmo6452的博客

05-24

974

由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案：Standalone,Mesos,Yarn。其中Standalone为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Sparkon...

Spark onYarn集群模式搭建

学海无涯的博客

07-22

223

转载此博主https://blog.youkuaiyun.com/qq_21439395/article/details/80678372

Spark On Yarn集群模式搭建

qq_51868627的博客

06-06

139

Spark On Yarn集群模式搭建

Spark基础学习笔记：搭建spark on yarn 集群

fafa_1111的博客

06-16

703

spark

Spark基础学习笔记05：搭建Spark Standalone集群

lwmzl00的博客

06-17

1214

文章目录零、本讲学习目标搭建Spark Standalone模式的集群能够启动Spark Standalone模式的集群学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal

超详细Spark on yarn 集群搭建部署

Alex的博客

11-14

2123

1.首先准备软件包下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了）解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...

搭建spark on yarn 集群

纸上得来终觉浅,绝知此事要躬行

05-03

1161

两台用的都是ubuntu IP 主机名 192.168.22.137 spark-master 192.168.22.150 spark-slave1 更改主机名确定每个节点的主机名与它在集群中所处的位置相同如果不同，需要修改vi /etc/hostname 重启生效可能需要些安装某些工具包更换sources源 ...

Spark on Yarn集群搭建手册

08-29

Spark on Yan集群搭建的详细过程，减少集群搭建的时间

Spark On Yarn集群搭建

qq_39261894的博客

05-05

455

Spark 客户端可以直接连接 Yarn，不需要额外构建Spark集群。有 client 和 cluster 两种模式，主要区别在于：Driver 程序的运行节点不同。 client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出 cluster：Driver程序运行在由 RM（ResourceManager）启动的 AM（AplicationMaster）上, 适用...

Spark on Yarn 环境搭建

weixin_37536020的博客

07-02

1367

当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。

Spark yarn集群搭建

jiedaodezhuti的博客

12-27

463

yarn是hadoop的一个子项目，用于管理分布式计算资源，在yarn上面搭建spark集群需要配置好hadoop和spark。集群是有3台虚拟机组成，都是centos系统的。下面一步一步进行集群搭建。一.配置hosts文件为了方便地查找主机，hosts文件是主机名到ip的映射，不用去记各个主机的IP地址. 在以后的url中就可以用master代替192.168.128.135。 192.1...

Spark on Yarn 模式搭建

你的骑士

05-28

416

1、上传解压，配置环境变量配置bin目录 1、增加hadoop 配置文件地址 vim spark-env.sh 增加 export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.6.0/etc/hadoop 2、往yarn提交任务需要增加两个配置 yarn-site.xml(/usr/local/soft/hadoop-2.6.0/etc/hadoop/yarn-site.xml) 先关闭yarn stop-yarn.sh yarn.nodemanager.pme

Spark-On-Yarn搭建模式

weixin_44442434的博客

06-29

991

一.修改yarn-site.xml 在node1上修改yarn-site.xml,指定MRHistoryServer地址信息并关闭yarn内存检查，因为spark运行在yarn上需要很多内存，yarn默认会对内存进行限制 <configuration>  <property> <name>yarn.resourcemanager.hostname</name...

Spark on YARN 部署搭建详细图文教程