Spark 常用部署模式

最新推荐文章于 2025-11-20 23:16:29 发布
最新推荐文章于 2025-11-20 23:16:29 发布
阅读量776 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： spark 入门到精通 文章标签： Spark 常用部署模式 Spark 部署模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/124167431
本文总结了Spark的不同部署模式，包括Local模式、Standalone模式、配置高可用（HA）模式、Yarn模式、K8S & Mesos模式、Windows模式，并探讨了各模式的特点。此外，还列举了Spark相关的重要端口号，如Spark-shell的4040端口，Master的7077端口，Standalone Master的8080端口，历史服务器的18080端口，以及YARN的8088端口。

前言

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行 , 在国
内工作中主流的环境为 Yarn ，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别
看看不同环境下 Spark 的运行

spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结；

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark的六种部署模式详细介绍
优快云 精品推荐
08-19 925
这些运行模式都可以用于生产环境或开发/测试环境，但选择哪种运行模式取决于具体的使用场景和需求。例如，YARN和K8S模式更常被用于大规模生产环境，因为它们提供了强大的资源管理和调度能力；而Local模式由于资源受限，更常用于开发和测试阶段。
Spark内容分享(九)：三种 Spark 部署模式介绍
之乎者也·的博客
01-01 1920
在提交成功后, 将alive master直接kill掉不会影响程序运行，当新的master接收集群后, 程序继续运行, 正常得到结果。在YARN中 有一个历史服务器, 其功能是将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.不同的是, 这个解释器环境 运行的不是python代码, 而是scala程序代码。
Spark部署模式详解
qq_41919329的博客
09-16 1366
1、Spark部署模式详解 在介绍部署模式之前，首先需要知道两个重要的角色：Driver(驱动器)、Executor(执行器)。 1、1Driver(驱动器) Spark驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD、以及进行RDD的转化（transform）操作和行动（action）操作代码的执行。如果你是用的spark shell,当你启动spark shell的时候，系统后台自启一个Spark驱动器程序，就是在Spark shell中
Spark 部署模式
最新发布
好记性不如烂笔头
11-20 1096
所谓 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学、调试、演示等。
大数据之Spark 运行环境概述 完整使用(第三章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
03-09 933
大数据之Spark 运行环境概述 完整使用一、Spark 运行环境1、Local 模式1）解压缩文件2）启动 Local 环境2、命令行工具3、退出本地模式4、提交应用二、Standalone 模式1、解压缩文件2、修改配置文件1) 进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves2) 修改 slaves 文件，添加 work 节点3) 修改 spark-env.sh.template 文件名为 spark-env.sh4) 修改 spark-env.sh 文
Spark的部署模式
chinabinner的专栏
01-11 554
Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。而如果你数据量不是很多，Standalone 是个不错的选择。当你需要统一管理集群资源（Hadoop、Spark等）那么你可以选择Yarn，但是这样维护成本就会变高。 　　yarn-cluster和yarn-client模式内部实现还是有很大的区别。如果你
spark1.2.1常用模式部署运行
03-02
Spark 支持三种分布式部署模式：standalone、spark on mesos 和 spark on YARN。其中，standalone 模式是 Spark 的默认模式，不需要其他的资源管理系统。在 standalone 模式下，Spark 可以以单机模式或伪分布式模式...
Spark实验：Standalone模式安装部署（带答案）1
08-03
【Spark Standalone模式安装部署详解】 Spark是一款快速、通用且可扩展的大数据处理框架，它提供了高效的批处理、交互式查询、流处理等多种计算模式。在Standalone模式下，Spark可以独立于任何分布式资源管理系统...
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
Ajekseg的博客
06-12 382
??♂??♂ 写在前面1、将spark压缩包上传到linux2、将spark解压到一个指定的位置再来 cd /opt/moudle查看3、修改名字为spark-local4、启动SparkLocal环境进入spark-local执行命令 5、web端查看启动成功后，可以输入网址进行Web UI监控页面访问1、在解压缩文件夹下的data目录中，添加word.txt文件。2、在启动界面的命令行输入以下命令： 3、退出本地模式按Ctrl + c 或者 键入 –class表示要执行程序的主类，此处可以更换为咱
Spark Local和PySpark部署
weixin_52854743的博客
06-26 2583
Spark的Local和PySpark环境配置和详细安装
Spark部署模式
dingqiu6346的博客
09-11 776
1.1.Spark部署模式 Spark支持多种集群管理器（Cluster Manager），主要为： Standalone：独立集群模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群； Apache Mesos：一个强大的分布式资源管理框架，它允...
Spark的部署模式详解
weixin_41954254的博客
02-26 582
Spark的部署模式详解 原文链接：https://www.leahy.club/archives/sparkcorespark%E7%9A%84%E9%83%A8%E7%BD%B2%E6%A8%A1%E5%BC%8F%E8%AF%A6%E8%A7%A3 1. Spark的部署模式 在介绍Spark的部署模式之前，需要明确两个重要的角色：Driver（驱动器）、Executor（执行器）。 1.1...
Spark 部署模式详解
@小刘同学nice
09-07 375
Spark支持3种集群管理器（Cluster Manager），分别为： Standalone： 独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群； Apache Mesos： 一个强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn； Hadoop YARN： 统一的...
Spark学习笔记—源码内核（看天书，跳了，停更）
qq_58551342的博客
04-11 286
Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：1)将用户程序转化为作业（Job）；2)在Executor之间调度任务（Task）；3)跟踪Executor的执行情况；4)通过UI展示查询运行情况；
Spark的部署方式有哪些？
zy1992As的博客
11-23 2870
Standalone模式被称为集群单机模式。Spark框架与Hadoop1.0版本框架类似，本身都自带了完整的资源调度管理服务，可以独立部署到一个集群中，无需依赖任何其他的资源管理系统，在该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，此时集群会存在单点故障问题，后续将在Spark HA集群部署小节讲解利用Zookeeper解决单点问题的方案。lYarn Cluster：用于生产环境，所有的资源调度和计算都在集群上运行。
Spark-部署模式详解（Deploy modes in Apache Spark）
喻师傅的学习笔记
05-20 1859
Spark部署模式
运行环境概述
weixin_30337251的博客
01-03 616
静态档案文件.a 动态共享库.dylib C的运行环境libSystem.dylib 标准C++库libstdc++.dylib 转载于:https://www.cnblogs.com/Piosa/archive/2012/01/03/2310911.html
spark集群部署模式
05-19
2. Standalone Mode：独立模式是最常用的部署模式，其中Spark集群由Spark自身的管理器管理。 3. Apache Mesos Mode：Apache Mesos是一个分布式的资源管理器，可以管理多个计算框架的资源。 4. Hadoop YARN Mode：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值