spark 运行模式的简单总结

最新推荐文章于 2025-05-18 10:32:54 发布
最新推荐文章于 2025-05-18 10:32:54 发布
阅读量404 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haozhugogo/article/details/78843409
本文介绍了如何使用Spark submit命令的不同参数来部署和运行PySpark及Scala应用程序。包括在standalone和YARN集群模式下，选择client或cluster部署模式，并指定了本地路径到不同类型的Spark应用程序。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark-submit --master spark://192.168.8.19:7077 --deploy-mode client /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt //spark自带集群跑 本机是driver，可以看到日志

spark-submit --master spark://192.168.8.19:7077 --deploy-mode cluster /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt //spark自带集群跑 其他机器是driver，本机看不到具体日志了

spark-submit --master yarn --deploy-mode client /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt //利用yarn集群来跑 本机是driver，可以看到日志

spark-submit --class ScalaTest --master yarn --deploy-mode cluster /Users/haozhugogo/Downloads/sparkStreamingTest.jar /Users/haozhugogo/Downloads/sparktest.txt //利用yarn集群来跑 其他机器是driver，本机看不到具体日志了
详解spark部署模式client和cluster
SunnyRivers
05-18 1370
又来了一个面试者…我：spark有哪些部署模式，他们有什么区别面试者：我们是用yarn来进行资源管理，部署spark有两种模式client和cluster，client用于测试，cluster用于生产我：还有呢面试者：…呃…client会造成网卡流量激增我：怎么理解网卡流量激增？client模式为什么会造成网卡流量激增面试者：…我：还有哪些区别呢？面试者：…在Spark中，driver程序是指驱动整个应用程序的主进程，它运行在应用程序的主机上。
Spark 源码 | 脚本分析总结
主要分享大数据相关的知识，如Spark、Hudi
02-10 1684
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
Spark的四种运行模式详解
热门推荐
qq_37163925的博客
05-22 1万+
前言 Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on YARN模式或者Spark on mesos模式。Spark的各种运行模式虽然在启动方式、运行位置、调度策略上各有不同，但它们的目的基本都是一致的，就是在合适的位置安全可靠的根据用户的配置和Job的需
Spark概述
weixin_62982569的博客
06-15 695
​ 可以看到，在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spark的核心（Spark Core）。
辨析Spark 运行方式、运行模式（master）、部署方式（deploy-mode）
全局可见
05-18 1501
为了理清 Spark 运行方式、部署模式（master）、部署方式（deploy-mode） 之间的关系，我们先明确几个核心概念，再对比它们的联系与区别。指 如何启动和运行 Spark 代码，就是代码在哪上面运行常见有三种：REPL 方式（交互式）spark-submit 方式（任务提交）集成开发环境（IDE，如 IDEA）更详细的Spark运行方式请见辨析Spark代码的不同运行方式：交互，submit，集成开发环境-优快云博客 指 Spark 应用运行时的资源管理方式，通过 指定，决定了任务运行在
Spark的 运行模式详解
weixin_33797791的博客
03-07 344
Spark的运行模式是多种多样的，那么在这篇博客中谈一下Spark的运行模式 一：Spark On Local     此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell即可    具体可参考这篇博客：http://blog.youkuaiyun.com/happyanger6/a...
spark运行模式（三）
cold_wolfie的专栏
08-25 587
spark运行模式包括：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。
spark运行模式总结
hadoop菜鸟的博客
05-08 397
spark可以在linux和window操作上运行。本文只介绍在linux上运行。spark运行模式分为单机local、standalone集群模式，和运行与yarn或mesos上的集群模式。其中运行与yarn上的集群模式又分为yarn client，yarn cluter两种模式。下面详细介绍这几种运行模式。1、 单机local模式。顾名思义，就是spark运行在本地单机上，将spark解压到本...
Spark运行时架构
m0_67806453的博客
06-16 1507
目录一，Spark运行时架构二，YARN集群架构（一）YARN集群主要组件1、ResourceManager - 资源管理器2、NodeManager - 节点管理器3、Task - 任务4、Container - 容器5、ApplicationMaster - 应用程序管理器6，总结（二）YARN集群中应用程序的执行流程三、Spark Standalone​​​​​​架构（一）client提交方式（二）cluster提交方式四、Spark on YARN架构（一）client提交方式（二）cluster提
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
这是Spark自带的一种资源管理器，可以独立于其他集群管理器（如YARN或Mesos）运行。在Standalone模式下，每个节点都既是worker又是driver，可以处理任务并调度其他节点的任务。这种方式简单易用，适合小型或中型规模...
Spark 的几种运行模式
weixin_33722405的博客
03-03 498
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark-部署模式详解（Deploy modes in Apache Spark）
喻师傅的学习笔记
05-20 1734
Spark部署模式
spark 的运行模式
LEOZHYD的博客
09-02 314
1.client向resourceManager 申请资源,返回一个applicationID,client拿着用户ID和用户名以及jar包上传到hdfs里面,上传完成之后再和resourceManager进行通信,是跟appicationManager 2.然后application Manage会跟其中一个nodeManager进行通信,然后让nodeManager下载jar包,(jar包是spark提供的,里面有sparkcontext,构建DAG,创建RDD,切分stage,产生rdd),把...
Spark的运行模式
Zonzereal的博客
01-29 3302
Spark的运行模式 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持，目前的实现包括相对稳定的Mesos模式，以及hadoop YARN模式
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1171
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
Spark运行模式介绍
不忘初欣丶的博客
04-05 2244
Spark三种运行模式，本地运行模式，StandAlone运行模式，Spark on Yarn运行模式介绍
Spark运行模式详解
weixin_43553142的博客
12-06 562
二、Spark运行模式 2.1 local模式 Local 模式就是指的只在一台计算机上来运行 Spark.通常用于测试的目的来使用 Local 模式, 实际的生产环境中不会使用 Local 模式. 2.2 Spark 核心概念介绍 2.2.1 Master Spark 特有资源调度系统的 Leader。掌管着整个集群的资源信息，类似于 Yarn 框架中的 ResourceManager，主要功能： 监听 Worker，看 Worker 是否正常工作； Master 对 Worker、Applicatio
spark部署模式
最新发布
05-19
Local 模式是一种单机运行模式，适用于测试和调试场景。在这种模式下，所有的 Spark 组件（Driver 和 Executor）都运行在同一 JVM 进程中，无需分布式环境的支持。此模式通常用于开发阶段或小型任务的验证。 ```...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值