Spark运行架构

最新推荐文章于 2025-11-07 08:50:56 发布
原创 最新推荐文章于 2025-11-07 08:50:56 发布 · 227 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了Spark运行架构相关内容，包括Spark Application由1个driver和多个executors组成，还提及Application jar、Driver program、Cluster manager等概念，阐述了Deploy mode的不同情况，以及Executor、Task、Job的定义和作用，并给出相关文档链接。

spark运行架构 要背下来
http://spark.apache.org/docs/latest/cluster-overview.html

  • Spark Application： 1个driver + 多个executors
  • Application jar ： 打包时生成的jar包
  • Driver program ：运行main函数的进程，并且创建了一个sparkcontext
  • Cluster manager: 一个从cluster申请资源的外部服务
  • Deploy mode: 区分driver进程跑在哪里；client模式下，driver跑在本地; cluster模式下，driver跑在集群里
  • Executor： 启动应用程序的进程；它能够运行tasks,保存数据到memort/disk。每个application都有自己的executor;
  • Task：作业的基本单元，每个task都会被送到一个executor上去执行
  • Job： 众多task组成的并行计算，一个Spark的action算子产生一个Job
2.3 Spark运行架构与流程
howard2005的专栏
04-10 576
Spark运行架构与流程包括几个核心概念：Driver负责提交应用并初始化作业，Executor在工作节点上执行任务，作业是一系列计算任务，任务是作业的基本执行单元，阶段是一组并行任务。Spark支持多种运行模式，包括单机、Standalone集群、YARN和Mesos集群，以及高可用集群。运行流程包括资源申请、分配、反馈、反向注册和任务提交。Driver与Cluster Manager通信，管理资源和任务，Executor向Driver注册并执行任务。整个流程确保了Spark应用的高效执行和资源的合理利用
spark运行架构及核心组件介绍
认真学代码的shell
05-11 1663
组件功能适用场景Spark Core提供分布式计算的基础功能所有场景Spark SQL支持结构化数据的查询和操作数据仓库、ETL、BI支持实时数据处理日志分析、实时监控MLlib提供分布式机器学习算法大规模机器学习GraphX支持图数据处理社交网络分析、图计算。
Spark 运行架构
fate_killer_liu_jie的专栏
12-18 1007
本文是《图解Spark核心技术与案例实战》一书的读书笔记，将简单介绍一下几种Spark运行架构。 总体介绍 三种角色 Spark有本地运行模式，stand alone模式，集群模式，yarn模式，mesos模式等多种模式。这些模式的主要组成部分都可以看成SparkContext,Cluster Manager,Executor三个部分，其中SparkContext负责管理Application的执...
逻辑架构、开发架构、数据架构、物理架构、运行架构的区别
最新发布
jialiang808的博客
11-07 537
这五种架构是软件架构的 “五维视图”：逻辑架构定义 “功能骨架”，开发架构定义 “实现方式”，数据架构定义 “数据底座”，物理架构定义 “硬件载体”，运行架构定义 “动态行为”。它们相互关联、层层支撑，比如逻辑架构的模块需通过开发架构落地为代码，通过物理架构部署到硬件，通过运行架构实现动态交互，数据架构则为所有维度提供数据支撑。
Spark入门实战系列--4.Spark运行架构
yyy
09-09 954
1、 Spark运行架构 1.1 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码； lDriver：Spark中的Driver即运行上述Application的main()函数并且创建SparkCon
Spark的运行架构分析（一）之架构概述
热门推荐
Thinkgamer博客
07-05 1万+
1：Spark的运行模式 2：Spark中的一些名词解释 3：spark的运行基本流程 一：Spark的运行模式         Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的S
Spark的运行架构
大数据进阶之路
03-28 1906
Spark的运行架构 1. 运行架构 Spark框架的核心是一个计算引擎，整天来说，它使用了标准的master-slave的结构。图形中的Driver表示master，负责管理整个集群中的作业任务调度。图形中的Executor则是salve，负责实际执行任务。 2. 核心组件 1. Driver Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 将用户程序转化为作业（job） 在Executor之间调度任务（task） 根
搭建Spark Standalone集群
m0_67806436的博客
06-16 1037
1.搭建Spark Standalone模式的集群 2.能够启动Spark Standalone模式的集群 3.学会Spark应用程序的提交Spark Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用–deploy-mode参数
Spark运行架构-简要版
大唐帝国—前营
06-10 368
1、构建Spark Application运行环境： 在Driver Program中新建SparkContext（包含SparkContext的挰序称为Driver Program）； Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由SparkContext来协调。 2、Spark Context向资源管理器申请运行E
【Spark】Spark运行架构
HR的博客
12-31 572
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理解而编写 B站尚硅谷Spark视频讲解链接: 点击跳转. Spark运行架构运行架构核心组件DriverExecutorMaster & WorkerApplicationMaster核心概念Executor与Core并行度（Parallelism）有向无环图（DAG）提交流程部署执行方式Yarn Client 模式Yarn Cluster 模式 运行架构 1️⃣ Spark框架的核心是一个计算引擎，整体来说，它采用了标准mast.
spark应用程序的运行架构
阿杰工作专栏
08-21 180
几个基本概念： （1）job：包含多个task组成的并行计算，往往由action催生。 （2）stage：job的调度单位。 （3）task：被送到某个executor上的工作单元。 （4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。 一个应用程序由一个driver program和多个job构成。一个job由多个stage组成。一个stage由多...
<转>Spark体系架构
yongjian_luo的专栏
09-20 521
最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。如在翻译过程中有文字上的表达纰
Spark运行架构详解：Driver, Executor与ClusterManager
"Spark运行架构主要讲解了Spark应用程序的基本组成，包括Application、Driver、Executor以及ClusterManager等核心概念，同时也提到了Spark在不同集群管理模式下的运行机制。在Spark中，Application是用户编写的程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值