Spark程序执行逻辑迷你版

最新推荐文章于 2025-05-28 17:37:56 发布
最新推荐文章于 2025-05-28 17:37:56 发布
阅读量569 收藏
点赞数
分类专栏： Spark 文章标签： spark 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_70131998/article/details/127342466
版权

 

Driver就是自己写的程序，里面有一个main方法，main方法划分DAG，形成Task，再把Task发出去
DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset

然后模拟taskScheduler的功能，将这些task发到Executor上去执行（真正的发送逻辑spark submit
进程启动Driver，然后Driver会找Executor，将Executor启动起来，然后Executor会向Driver反向注册
是动态获取的，这样Driver会持有Executor的地址，Executor知道Driver在哪里，Driver也知道Executor在哪里）

注意，如果划分有两个stage，是会有两个taskset的

然后在虚拟机上，上传打好的jar包，这样就会看到三个节点有三个Executor启动，然后用submit进程启动，里面调用Driver
发布任务到Executor，然后三个Executor就会执行对应自己分区的任务

Spark(11) -- Spark实现ip地址查询案例及Sogou日志分析（scala版）
erainm
10-04 1088
1. 需求分析 2. 技术调研 3. 架构设计 4. 开发 5. 代码
Spark学习-事件日志EventLog
迷思
12-08 3825
事件日志EventLog背景 背景
Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
三分地
05-16 2998
目的 使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。 这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。 Hadoop Ta
spark 3.5版本发布
smileyboy2009的专栏
10-25 1925
此版本引入了更多 Spark Connect 正式发布的方案，例如 Scala 和 Go 客户端、分布式训练和推理支持，以及增强了结构化流式处理的兼容性;引入了新的 PySpark 和 SQL 功能，例如 SQL IDENTIFIER 子句、对 SQL 函数调用的命名参数支持、对 HyperLogLog 近似聚合的 SQL 函数支持以及 Python 用户定义的表函数;在开源社区的重大贡献下，此版本处理了 1,300 多个 Jira 工单。以下功能将在下一个 Spark 主要版本中删除。
DotNet 资源大全中文版（Awesome最新版）
LisenYang的专栏
05-17 7272
DotNet 资源大全中文版（Awesome最新版）
DotNet 资源大全中文版
weixin_30439067的博客
08-15 1089
https://blog.youkuaiyun.com/fhzh520/article/details/52637545 目录 算法与数据结构（Algorithms and Data structures） 应用程序接口（API） 应用程序框架（Application Frameworks） 模板引擎（Application Templates） 人工智能（Artificial...
Java 云原生应用（三）
龙哥盟
07-14 1487
在本章中，我们看到了支持云原生应用程序的各种运行时组件，并在各种运行时环境中运行了我们的应用程序，比如 Kubernetes 和 Cloud Foundry。在下一章中，我们将在 AWS Cloud 上部署我们的服务。在本章中，我们介绍了 AWS 平台提供的一些选项，以及我们如何可以从弹性 Beanstalk 部署我们的应用程序，这是针对 Web 应用程序的。我们部署到 ECS，用于部署容器化工作负载，不限于 Web 应用程序工作负载。然后，我们部署了一个 AWS Lambda 函数，无需配置底层硬件。
Flink从1.7到1.14版本升级汇总
微信搜：import_bigdata，大数据领域硬核原创作者
10-09 1732
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜 一 .前言官方发布了Flink1.14版本，但是遗憾的是，中文官网中的案例和资料还都是基于很古老的版本。所以大家照着官网资料...
Python基础教程(微课版)林子雨主编，简单写了一点笔记
ssssl00的博客
11-01 5007
1.机器语言2.汇编语言3.高级语言1.1.2为什么选择pyhton？1）入门容易2）功能强大3）应用领域广泛1.2.1python简介python：解释性高级语言设计哲学：“优雅、快捷、明确、简单”优点：语言简单、代码简洁(量少)、开源免费、面向对象、跨平台、强大的生态系统（功能强大）。缺点：速度慢、代码不能加密、2.0和3.0不兼容。1.2.3python应用1.数据科学（大数据、数据可视化、数据分析）2.人工智能（第三方库实现）
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
python电商项目介绍_电商大数据项目-推荐系统实战（一）
weixin_39738152的博客
12-21 1649
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道...
电商大数据项目-推荐系统实战（一）
weixin_33893473的博客
12-02 7854
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析https://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法https://blog.51cto.com/6989066/2326209电商大数据项目-推荐系统实战之实时分析以及离线分析https://blog.51cto.com/6989066/2326214 开源项目，请勿用...
网络安全资料汇总！
weixin_46159811的博客
01-07 4183
1.网络安全资料汇总 web security： 《http权威指南》【图灵出品】   深入理解web http/https协议 ，了解超文本传输协议是如何进行传输和编译的。 《javascript权威指南》   淘宝前端团队翻译，深入了解前端js变量，注释，函数，表达式等，学习xss必备书籍。还提及了jquery类库。 《xs...
Kafka + Flink + Spark 构建实时数仓全链路实战
晴天彩虹雨的博客
05-24 653
本文详细介绍了基于Kafka+Flink+Spark构建实时数仓的全链路方案。架构包含数据源接入层（Kafka多Topic解耦）、实时处理层（Flink清洗/聚合）、离线补数层（Spark批量处理）以及指标服务层（DWS/ADS）。重点阐述了Kafka主题设计、Flink实时处理逻辑、Spark离线补数机制及数据一致性保障方案，并提供了实践建议和典型场景处理方法。该架构实现了秒级指标刷新、数据可追溯性及多业务域扩展能力，为现代实时数仓建设提供了标准化解决方案。
Spark on YARN 的运行架构总览
全局可见
05-24 821
ResourceManager 根据资源情况分配 Container 给 ApplicationMaster，ApplicationMaster 与对应的 NodeManager 通信，让 NodeManager 启动包含 Spark Executor 的容器。：Spark Driver 在 ApplicationMaster 中或单独的容器中运行，负责调度和监控任务，Executor 在各自容器中执行具体的 Spark 任务，完成数据处理。
4.8.2 利用Spark SQL计算总分与平均分
howard2005的专栏
05-28 292
在本次实战中，我们的目标是利用Spark SQL计算学生的总分与平均分。首先，我们准备了包含学生成绩的数据文件，并将其上传至HDFS。接着，通过Spark的交互式编程环境，我们读取了成绩文件并将其转换为结构化的DataFrame。然后，我们创建了一个临时视图，并通过SQL查询计算了每个学生的总分和平均分。此外，我们还通过创建一个Spark项目来实现相同的功能。
spark- ResultStage 和 ShuffleMapStage介绍
认真学代码的shell
05-28 613
维度触发条件Transformation 中的 Shuffle 操作Action 操作数据流向输出到 Shuffle 文件供下游读取输出到 Driver 或外部存储任务类型ResultTask依赖类型宽依赖（可能被多个下游 Stage 依赖）无下游依赖是否缓存数据通常不缓存（除非手动persist结果直接输出，不保留。
4.8.4 利用Spark SQL实现分组排行榜
最新发布
howard2005的专栏
05-28 84
在本次实战中，我们的目标是利用Spark SQL实现分组排行榜，特别是计算每个学生分数最高的前3个成绩。任务的原始数据由一组学生成绩组成，每个学生可能有多个成绩记录。我们首先将这些数据读入Spark DataFrame，然后按学生姓名分组，并使用窗口函数对学生成绩进行降序排序。通过row_number()函数为每个分组的成绩分配行号，筛选出行号小于等于3的记录，即为每个学生分数最高的前3个成绩。
Spark 中，创建 DataFrame 的方式（Scala语言）
全局可见
05-24 993
在 Spark 中，创建 DataFrame 的方式多种多样，可根据数据来源、结构特性及性能需求灵活选择。
详细阐述Spark程序执行时流程。
07-08
当您提交一个Spark程序时，它经历以下流程： 1. 初始化SparkContext：在程序开始执行之前，需要初始化SparkContext对象。SparkContext是与集群交互的主要入口点，负责连接到集群管理器（如YARN、Mesos或Standalone）并分配计算资源。 2. 创建RDD：在程序中，您将定义一系列操作来处理数据。Spark的核心数据结构是弹性分布式数据集（RDD），它代表着分布在集群中的数据集合。您可以通过读取文件、从内存集合创建、通过转换其他RDD等方式来创建RDD。 3. 转换操作：一旦创建了RDD，您可以对其进行各种转换操作。转换操作是惰性执行的，意味着它们只是记录了要在RDD上进行的操作序列，而不会立即执行。常见的转换操作包括map、filter、reduceByKey等。 4. 行动操作：当需要从RDD获取结果时，需要执行行动操作。行动操作会触发Spark作业的执行，并将结果返回给驱动程序。常见的行动操作包括collect、count、reduce等。 5. 任务划分和调度：一旦执行行动操作，Spark将根据转换操作的依赖关系将作业划分为一系列任务。每个任务都会被分配给集群中的可用计算资源，并由集群管理器进行调度执行。 6. 任务执行：每个任务在集群中的工作节点上被执行。它们会读取输入数据、应用转换操作并生成中间结果。这些中间结果可能会被缓存在内存中，以便后续任务可以直接使用。 7. 结果返回：当所有任务都完成后，Spark将把最终结果返回给驱动程序。这些结果可以直接在驱动程序中处理，也可以存储到外部系统（如HDFS、数据库等）中。 8. 清理资源：当程序执行完毕时，SparkContext会负责释放所使用的资源，并与集群管理器断开连接。 需要注意的是，Spark程序的执行是分布式的，它可以在一个集群中的多个计算节点上并行处理数据。Spark会自动管理任务的划分和调度，并尽可能最大化地利用集群中的计算资源来提高执行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

{BOOLEAN}

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值