spark源码系列03-任务提交01

最新推荐文章于 2023-11-27 23:47:23 发布
最新推荐文章于 2023-11-27 23:47:23 发布
阅读量766 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark实战 文章标签： spark
本文为博主（李孟）原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_19968255/article/details/82803794
本文详细介绍了Spark任务提交的流程，从`saveAsTextFile`开始，深入源码，讲解了如何通过`saveAsHadoopFile`设置HDFS参数，到`DAGScheduler`中切分Stage并提交Job。文章涵盖了`SparkContext.runJob`、`DAGScheduler`的`runJob`、`submitJob`等关键步骤，以及Stage创建和宽依赖处理的过程。

用spark版本1.3+

val conf=new SparkConf().setAppName("WordCount")

    val sc=new SparkContext(conf)

    //构建RDD并调用Transformation

    //textFile创建一个hadoopRdd，产生一个MapPartitionsRDD

     //flatMap 产生一个MapPartitionsRDD

     // map 产生一个MapPartitionsRDD

     // reduceByKey 产生一个ShuffledRDD 宽依赖

     // saveAsTextFile 产生一个MapPartitionsRDD

     // 切分stage 记住最后个rdd 从后往前推

   

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark源码系列03-任务提交02
独立开发，substack顶级编辑
04-30 724
url:spark源码系列03-任务提交01 12. DAGScheduler getShuffleMapStage 创建父Stage val stage =newOrUsedStage(…… 13. DAGScheduler newOrUsedStage 递归 val stage = newStage(rdd, numTasks, Some(shuffleDe...
Spark2.4.0-CDH6.3 错误解决过程
独立开发，substack顶级编辑
12-25 2072
1.背景 最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。 2.安装 2.1 Spark 具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。 安装目录：/opt/cloudera/parcels/CDH/lib/spark，操作主目录。 sp...
spark工作机制
将登太行雪满山
03-23 3651
spark这里以wordcount程序为例，演示spark的基本流程和原理基本概念 RDD：弹性分布式数据集。数据存放在各个节点上。spark对RDD进行操作。 算子：各种操作/行动。spark中的函数 创建 变换 缓存 行动 spark架构分析 application：用户编写的spakr程序，包含驱动程序和要运行的代码 driver驱动程序：main创建sparkcontent，程序结束后负责
读《Spark内核设计的艺术 架构设计与实现》笔记之二----Spark模块设计
TMH_ITBOY的博客
02-15 1118
Spark模块设计 整个Spark主要由Spark Core,Spark SQL,Spark Streaming,GraphX,MLlib组成,Spark Core是整个Spark体系的核心引擎,Spark SQL,Spark Streaming,GraphX,MLlib都是建立在Spark Core基础之上的. Spark的核心功能 Spark Core中提供了Spark最基础最核心的功能,主...
7，spark源码分析-sparkSQL任务提交
北方的大数据之路
09-23 1331
1
Spark源码解析03-Submit提交流程及Driver启动流程
Linzx的学习笔记
06-02 1050
1、前言 由前面的文章Spark基础06-Spark client和cluster提交流程我们已经知道了Spark client和cluster提交模式流程 启动Driver进程，并向集群管理器注册应用程序 集群资源管理器根据任务配置文件分配并启动Executor Executor启动之后反向到Driver注册，Driver已经获取足够资源可以运行 Driver开始执行main函数，Spark查询为懒执行，当执行到action算子时开始反向推算，根据宽依赖进行stage的划分，随后每一个stage对应一个
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
最新发布
wang2leee的博客
11-27 1389
spark-shell 任务提交任务参数选项说明示例源码详解
spark源码-任务提交流程之-7-流程梳理总结
m0_37817767的博客
08-04 410
spark源码
spark源码-任务提交流程之-1-sparkSubmit
m0_37817767的博客
07-21 919
spark源码阅读
spark源码系列--1基本概述
it_dao的博客
08-15 371
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。 一、spark基本概念 1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序 2.Driver：就是为这个应用所提供的运行环...
hive on spark安装
独立开发，substack顶级编辑
04-30 1864
承接安装系列环境 背景：Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hive on Spark也会比Hive on m...
Spark计算引擎实战汇总
独立开发，substack顶级编辑
12-31 1814
文章目录一.安装二.理论基础三.实战2.1 hbase2.2 sql2.3 机器学习2.4 Graphx2.5 报错四.源码 一.安装 Spark介绍系列02–安装集群:https://limeng.blog.youkuaiyun.com/article/details/82803783 hive on spark安装:https://limeng.blog.youkuaiyun.com/article/details/71023759 二.理论基础 Dataflow Model总结:https://limeng.blog
Spark 图计算实战
独立开发，substack顶级编辑
01-09 1662
文章目录一.GraphX 介绍二.GraphX 实现分析2.1 图的切分方式2.2 数据处理2.3 BSP模型2.4 设计核心三.GraphX 实例3.1 创建3.2 转换操作3.2.1 基本信息3.2.2mapVertices3.2.3 mapEdges3.2.4 mapTriplets3.3 结构操作3.3.1 reverse3.3.2 subgraph（重点）3.3.3 mask3.3.4 groupEdges3.4 聚合操作3.4.1 collectNeighbors3.4.2 collectNei
Pregel模型原理
独立开发，substack顶级编辑
07-12 1543
一.图简介 图数据结构可以很好的展示关联关系，关联性计算是大数据计算核心，Pregel是一种基于BSP模型实现的并行图处理系统。主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等计算。 二.模型 2.1 简介 Pregel计算模型，输入是一个有向图，该有向图每个顶点（Vertex）是唯一，每个顶点都有属性，这些属性可以被修改，其初始值由用户定义，边也有属性，与顶点关联。 消息（Message），消息是Pregel计算模型的核心。每个 Vertex 在初始状态以及之后的每一个计算步骤当中
Spark-线性回归示例01
独立开发，substack顶级编辑
06-12 1526
房屋普查，预测房价，最后预测结果不太准确，后续会调整，可能的原因：最直接原因指标项没有强线性关系，使用的参数不准确。只是为了熟悉下流程。 import org.apache.spark.ml.feature.StandardScaler import org.apache.spark.sql.types.{DoubleType, FloatType, StructField, Struct...
Hive on Spark 报错
独立开发，substack顶级编辑
03-30 1256
1.自从spark2.0.0发布没有assembly的包了，在jars里面，是很多小jar包 修改目录查找jar 2.异常HiveConf of name hive.enable.spark.execution.engine does not exist 在hive-site.xml中： hive.enable.spark.execution.engine过时了,配置删除...
SparkSql系列--需求01
独立开发，substack顶级编辑
04-23 1174
 一.需求介绍   前些天碰见个需求，摘取其中一小部分，有用户表，医院表，地区表，以医院和日期（天）的维度下，获取总数。   在数据仓库没有搭建好的情况下，从mysql库ode(源数据)，处理完成导入到另一个库中，下面看图示意。   用户与医院是一对多的关系，这个是2B项目，医院分割用户，医院与地区是多对一的关系。 在源数据库处理完数据结果保存到上述表中。 二.技术介绍   ...
Spark REPL
独立开发，substack顶级编辑
11-22 1084
文章目录一.Scala REPL二.Spark REPL三.总结 一.Scala REPL scala repl(“Read-Evaluate-Print-Loop”) 是一个交互式命令行解释器，它提供了一个测试scala代码的环境。ILoop和IMain是其核心实现。 属性 有用的REPL功能包括： REPL的IMain绑定到$intp。 REPL的最后一个异常绑定到lastException。 使用标签完成。 用于//print<tab>显示键入的重复标记。 使用:help的命令列表。
Dataflow Model总结
独立开发，substack顶级编辑
10-13 1025
一.简介 The Dataflow Model 是 Google Research 于2015年发表的一篇流式处理领域的有指导性意义的论文，它对数据集特征和相应的计算方式进行了归纳总结，并针对大规模/无边界/乱序数据集，提出一种可以平衡准确性/延迟/处理成本的数据模型。这篇论文的目的不在于解决目前流计算引擎无法解决的问题，而是提供一个灵活的通用数据模型，可以无缝地切合不同的应用场景。 二.CLC与CAP CAP In a distributed system (a collection of inter
spark学习-2.4.0-源码分析-3-spark 核心篇-spark submit任务提交
06-28
Spark submit任务提交是指将用户编写的Spark应用程序提交到集群中运行的过程。在Spark中，用户可以通过命令行工具或API方式提交任务。 Spark submit命令的基本语法如下： ``` ./bin/spark-submit \ --class <main...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李孟聊人工智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值