Spark--任务执行流程

已于 2025-02-24 01:43:45 修改
阅读量374 收藏 2
点赞数 8
文章标签： spark 大数据 分布式
于 2025-02-06 11:51:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2301_77948840/article/details/145470239
版权

在这里插入图片描述

1、用户通过spark-submit命令提交任务
2、调用SparkSubmit初始化环境，创建SparkApplication，启动Client客户端
3、Client客户端向ResourceManager申请资源
4、ResourceManager指定一个NodeManager启动ApplicationMaster，ApplicationMaster启动diver，由yarnAllocator来分配资源，创建executorRunnable
5、executorRunnable启动nmClient，启动Container(executor)
6、executor端构建rpcEnv，与driver端建立通信，创建executor，并将executor信息发送给driver端
7、行动算子触发job，创建SparkContext，然后调用DAGScheduler
8、DAGScheduler根据shuffle依赖从后往前划分stage，将每个stage的tasks信息（包括最优先的资源位置）封装成一个taskSet，从前往后提交给TaskScheduler
9、TaskScheduler创建TaskManager来管理和监控任务的执行，然后向driver端申请重新激活资源
10、driver端进行资源画像，决定如何将task分配给可用的executor，将task信息和其资源信息封装成LunchExecutor，发送给executor端
11、executor端将LunchExecutor封装成TaskRunner
12、TaskRunner将Task序列化后，调用runTask方法，经所持有的迭代器链式计算获得计算结果
13、如果是ShuffleMapTask，就落盘成shuffle临时文件；如果是ResultTask，就写入外部存储

Cynthiaaaaalxy
关注
递归--回溯法--N皇后问题
Shenrunchen的博客
08-24 591
完成8皇后问题，若棋盘为5X5或9X9结果如何
递归求解n皇后问题的解析和求解（矩阵储存版）
m0_55982541的博客
01-06 1612
​ n皇后问题来源于著名的十九世纪著名数学家提出的八皇后问题。问题为：在8×8的棋盘上摆放八个皇后，皇后之间不能互相攻击，既任意两个皇后不在同一行、同一列，也不再同一斜线上。n皇后则是在八皇后的基础上，将棋盘扩充为n×n，皇后的数量也相应改变为n。
【ACM】N皇后问题
小小小草儿的博客哟
02-26 792
问题描述： 给定一个n*n的棋盘，放置n个彼此无法攻击的皇后，在国际象棋中，皇后可以攻击与其在同一列或者同一行或者同一斜线上的旗子。也就是说，在n个皇后中，任意两个都不能放在同一列或者同一行或者同一斜线上。解题思路： x[t]表示第t行中皇后所在列，因此x数组[t1,t2…tn]是一个1-n的全排列。所以从第一行开始，一行一行的向下进行，在每一行中遍历每一列，然后监测是否满足，如果满足，则进入下
pta n皇后（回溯/递归）
weixin_51638679的博客
02-09 1667
对于皇后问题有的只要判断有多少种排列，有的要输出所有符合的图，本文我们将该两种问题代码及解题思路都给出来哦。 pta题目： 在N*N的方格棋盘放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在与棋盘边框成45角的斜线上。 你的任务是，对于给定的N，求出有多少种合法的放置方法 输入格式: 共有若干行，每行一个正整数N≤10，表示棋盘和皇后的数量； 输出格式: 共有若干行，每行一个正整数，表示对应输入行的皇后的不同放置数量 输入样例: 在这里给出一组输入。例
N皇后问题（C++）
m0_62890348的博客
01-30 4042
N皇后问题是一个经典问题，在一个N*N的棋盘上放置N个皇后，每行刚好放置一个并使其不能互相攻击（同一行，同一列，同一斜线上的皇后都会自动攻击）行列可以很好地判断是不是符合题干，主要是对角线上不能重复，由左下至右上的对角线行列下标相加相同，由左上至右下的对角线（行 - 列）相等。计算一共有多少种合法的方法放置N个皇后。
n皇后的递归算法
慢慢的博客
10-23 2138
【问题描述】在n*n的方格棋盘放置n个皇后，要求每个皇后不同行，不同列、不同左右对角线。 【问题求解】采用整数数组q[N]存放n皇后问题的求解结果，因为每行只能放一个皇后，q[i](1<=I<=n)的值表示第i个皇后所在的列号，即该皇后放在（i,q[i]）的位置上。（为了简便，不使用q[0]元素）。 对于（i,j）位置上的皇后，是否与已放好的皇后（k,q[k]）(1<=k<=i-1)有冲突呢？显然它们不同列，若同列则有q[k]==j；对角线有两条，若它们在任一条对...
八皇后 Checker Challenge
qq_52273733的博客
01-31 416
题目描述 一个如下的 6×6 的跳棋棋盘，有六个棋子被放置在棋盘上，使得每行、每列有且只有一个，每条对角线（包括两条主对角线的所有平行线）上至多有一个棋子。 上面的布局可以用序列 2 4 6 1 3 5 来描述，第 ii 个数字表示在第 ii 行的相应位置有一个棋子，如下： 行号 1 2 3 4 5 6 列号 2 4 6 1 3 5 这只是棋子放置的一个解。请编一个程序找出所有棋子放置的解。 并把它们以上面的序列方法输出，解按字典顺序排列。 请输出前 3个解。最后一行是解的总个数。 输入格式 一行一个
回溯算法-求解N皇后问题-python实现
最新发布
11-22
回溯算法，求解N皇后问题，python实现。 回溯算法是一种通过递归和逐步撤销（即回溯）来解决问题的算法。以下是对回溯算法求解N皇后问题的详细介绍： 1. 基本概述 - 定义：N皇后问题是一个经典的计算机科学问题，...
用栈求解n皇后问题-八皇后及n皇后.cpp
12-15
总结起来，这个程序利用栈辅助的回溯法解决了N皇后问题，通过递归遍历所有可能的皇后排列，同时检查并更新每一步的合法性。这种方法可以有效地找出所有可能的解决方案，展示了栈在解决复杂问题时的强大能力。
用栈求解n皇后问题 ,经典的回溯算法问题
06-05
下面给出使用栈求解 n 皇后问题的思路： 定义一个栈，用于存储已摆放皇后的位置信息。 初始将第一个皇后放到第一行第一列，入栈。 重复以下操作，直到栈为空： 取出栈顶元素，表示当前正在处理的行。 在该行从左到...
n皇后问题的求解答案
07-06
#include #include using namespace std; void backtrack(int, vector, int, int); bool place(int, vector); void displayqueen(vector, int, int); int sum = 0; int main(void) { int N; int kind; cout<>N; vector x(N+1,0); cout<<"----------------------------------"<<endl; cout<<'\t'<<"结果显示的形式："<<endl; cout<<'\t'<<" 1.直接形式."<<endl; cout<<'\t'<<" 2.矩阵形式."<<endl; cout<<"----------------------------------"<<endl; cout<>kind; backtrack(1, x, N, kind); return 0; } void backtrack(int t, vector x, int N, int kind) { if(t > N) { sum += 1; displayqueen(x, N, kind); } else { for(int i=1; i<N+1; i++) { x[t] = i; if(place(t, x)) { backtrack(t+1, x, N, kind); } } } } bool place(int k, vector x) { for(int j=1; j<k; j++) { if((abs(k-j) == abs(x[k]-x[j])) || (x[k] == x[j])) { return false; break; } } return true; } void displayqueen(vector x, int N, int kind) { if(kind == 1) { cout<<"第"<<sum<<"个解："; for(int i=1; i<N+1; i++) { cout<<x[i]<<' '; } cout<<endl; } else { vector<vector > S(N+1, vector(N+1)); for(int i=1; i<N+1; i++) { for(int j=1; j<N+1; j++) { S[i][j] = 0; } } for(i=1; i<N+1; i++) { for(int j=1; j<N+1; j++) { S[i][x[i]] = 1; } } cout<<"第"<<sum<<"个解："<<endl; for(i=1; i<N+1; i++) { for(int j=1; j<N+1; j++) { cout<<S[i][j]<<' '; } cout<<endl; } } }
N皇后问题--递归的应用（C++）
每周更新，热爱coding！
10-13 462
N皇后问题： 即在一个n*n 的棋盘上，放置n个皇后，所放置的n个皇后不能在同一行，同一列，同一条斜线上。 问总共有多少种放法。 解决这个问题，可以用递归的方法。 先用语言描述一下放置过程： 比如首先在棋盘的1行1列上摆放一个皇后，然后继续从第二列开始摆放，原则是不能放在同一行、同一列、同一对角线上，那么就从第二列的第一行开始尝试，一直到第n行。如果在尝试的过程中有满足条件的摆放方式，那么继续在第三列摆放，再从第三列的第一行开始尝试.......如此循环往复。 本题的第一个难点就在于如何判断不在
回溯算法---n皇后问题
weixin_45435509的博客
10-27 846
在n×n格的棋盘上放置彼此不受攻击的n个皇后。 按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 由于棋盘的每列/行只有一个皇后，所以可以用一维向量X( x1, x2, …, xn)，其中xi∈{1, 2, …, n}，表示第i列皇后所在的行x[i]，即解空间的每个结点都有n个儿子，因此解空间的大小为nn，这是一棵子集树。 n皇后问题回溯算法的数据结构 #define N...
HDU 2553 N皇后（DFS递归）
walalilongla！
07-13 286
题目 Problem Description 在N*N的方格棋盘放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在与棋盘边框成45角的斜线上。 你的任务是，对于给定的N，求出有多少种合法的放置方法。 Input 共有若干行，每行一个正整数N≤10，表示棋盘和皇后的数量；如果N=0，表示结束。 Output 共有若干行，每行一个正整数，表示对应输入行的皇后的不同...
皇后问题
skyeah_的博客
03-20 393
回溯算法 以皇后问题为例，个人认为根本在于如果这一行的条件不满足，就没办法进入到下一行的**“深挖”当中，相当于“中断”了。“中断”之后继续分析本行的上一行的其他列**（因为本行就是从上一行“深挖”下来的，所以挖不到东西就继续上一行的工作）。 比如说第二行的某一列找到了，然后第3行的第3列也符合，但是到第四行遍历整列没有一个符合的，这时候便不会在第三行第三列的点深挖，此时便继续遍历第三行第四列、第五列、第六列是否满足。 说一下个人浅见，感觉它与递归最大的区别在于，递归需要不断地返回结果（在下一层的计算完后，
n皇后问题
Nash_SP的博客
03-08 558
【问题描述】在n×n的方格棋盘上放置n个皇后，要求每个皇后不同行、不同列、不同左右对角线。计算皇后数为n时解的个数。 import java.util.*; public class Main{ static int[] q=new int[50];//第i个皇后位于第i行、第q[i]列上 static int count=0;//解的个数 public static boole...
用栈解决N皇后问题（超详细注释、C/C++实现）
JunsIr的技术栈
10-26 5907
用栈解决N皇后问题（超详细注释、C/C++实现） 目的： 深入掌握栈应用的算法设计 内容： 编写一个程序，求解n皇后问题，即在n*n方格棋盘上放置n个皇后，要求每个皇后不同行、不同列、不同左右对角线 皇后个数n由用户输入，其值不能超过20，输出所有的解 采用类似于栈求解迷宫问题的方法 GitHub地址（包含.cpp文件和可执行程序exe） N皇后问题 -by- GitHub 源代码(经VS...
回溯算法（六）：N皇后问题
qq_42138662的博客
06-26 1114
51. N 皇后 n 皇后问题 研究的是如何将 n 个皇后放置在 n×n 的棋盘上，并且使皇后彼此之间不能相互攻击。 给你一个整数 n ，返回所有不同的 n 皇后问题 的解决方案。 每一种解法包含一个不同的 n 皇后问题 的棋子放置方案，该方案中 'Q' 和 '.' 分别代表了皇后和空位。 一、解题思路 首先我们写一个函数，来判定在某个格子上放置皇后是否合法 对于棋盘，按层向下每层放置一个皇后 如果能够放到最后，就可以得到一个可行解 其实这就是一个回溯问题，只不过路径选择的合法性更复杂一些 二、代
递归求解皇后问题 C语言
1
08-27 1818
编写一个递归算法，求解n皇后问题：在n×n的方格棋盘上放置n个皇后，要求每个皇后不同行、不同列、不同左右对角线。 算法思想： 1. 第i个皇后放在第i行，col[i]表示第i(1≤i≤n)个皇后的列号。即第i个皇后的坐标位置是(i,col[i])。 2. 对于第k个皇后，测试(k, j)(1≤j≤n)是否与1~k-1个皇后有冲突。对于第i个皇后，位置是(i,col[i])，是否与(k,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值