【Spark 基础】-- 重试级别及说明

最新推荐文章于 2024-08-21 18:02:39 发布
最新推荐文章于 2024-08-21 18:02:39 发布
阅读量5.4k 收藏 14
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Apache Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/109288539
本文详细介绍了Spark在YARN上的重试机制，包括ApplicationMaster、Executor、Stage和Task四个级别的重试。分别讨论了相关参数如spark.yarn.maxAppAttempts、spark.yarn.max.executor.failures、spark.stage.maxConsecutiveAttempts和spark.task.maxFailures，并解释了它们在不同情况下的应用和限制，以及重试次数超出设定值时的处理策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1 级别一： ApplicationMaster 重试

2 级别二： Executor 重试

3 级别三：Stage 重试

4 级别三：Task 重试

1 级别一： ApplicationMaster 重试

作用：避免 job 失败一次后，就马上 stop。

参数：

  • spark.yarn.maxAppAttempts：默认为 yarn.resourcemanager.am.max-attempts 的值，如果要设置，需小于它的值
  • yarn.resourcemanager.am.max-attempts：默认为 2

在Spark on Yarn 时，读取 maxAppAttempts 参数和判断该参数的spark源码，代码位于 ApplicationMaster 类里面：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6770
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
Spark 常见参数学习
chncaesar的专栏
08-04 485
Spark on Yarn spark.yarn.maxAttempts研究 等价于yarn.resourcemanager.am.max-attempts，表示AM最多运行次数。设置为1，表示该AM失败后，Yarn不自动重启。 spark.yarn.max.executor.failures 一个Spark Application的executor累积失败次数达到该值，则该Spark App...
spark重试次数讲解
最新发布
qq_23827347的博客
08-21 947
spark重试次数讲解
【spark】都有哪些级别的容错或者失败重试？
lsr40的博客
06-28 5594
哎，我又来写文章了！ 最近在看spark源码（照着这本书看的《Spark内核设计的艺术架构设计与实现》），想整理一些东西（一些以前面试被问到的在我脑中没有体系的知识点吧） 1、Application级别的容错 spark.yarn.maxAppAttempts 如果没有手动配置这个参数，那就会使用集群的默认值yarn.resourcemanager.am.max-attempts，默认是2，这是hadoop的yarn-site.xml里面配置的，当然spark.yarn.maxAppAttem.
限制Spark作业失败的重试次数
南风知我意
03-17 601
【代码】限制Spark作业失败的重试次数。
如何限制Spark作业失败的重试次数？
热门推荐
Lestat.Z.的博客
05-11 1万+
前言 最近有个spark程序因为资源不足以及其他原因会在第一次提交时候失败，然后又会不断提交，导致过多的系统资源被无效占用。因此想限制Spark作业失败的重试次数，如果第一次失败，就让作业直接失败，那么该具体该如何实现呢？ 解决方法 首先查看了spark的属性配置，发现我们使用spark.yarn.maxAppAttempts属性在提交程序时限制其重试次数，如： spark-submit --co...
主流大数据技术全体系参数与搭建与后台代码工程框架的编写（百分之70）
weixin_33712987的博客
12-29 1041
之前查阅源码啊，性能测试啊调优啊。。基本告一段落，项目也接近尾声，那么整理下spark所有配置参数与优化策略，方便以后开发与配置： Spark安装配置与代码框架    spark-default.conf 配置 spark.executor.instance 参数，向Yarn申请创建的资源池实例数   spark.executor.cores 参数，每个container中所包含的core数量  ...
spark-core(完结)
weixin_59061079的博客
10-31 363
spark知识点
SparkRDD - 基础编程
Sarahdsy的博客
06-09 825
SparkRDD - 基础编程 RDD序列化 闭包检测 从计算的角度，算子以外的代码都是在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭合的效果。 如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，就会发生错误。所以，需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。 Scala2.12版本后闭包编译方式发生了改变。 源码说明 我们执行col
Spark常见报错与解决方案【三】
是故事啊~关注我~
12-07 4586
原因：数据量太大，内存不够 解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores (2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大，导致磁盘满，节点重启 (2)节点其他服务多，抢占内存资源，NodeManager处于假死状态 解决方案：(1)确保节点没有过多其他服务进程 (2)扩大磁盘容量 (3)降低内存可分配量，比如为总内存的90%，
一文搞懂Spark的Task调度器（TaskScheduler）
LMR的博客
05-10 7538
TaskScheduler的核心任务是提交TaskSet到集群运算并汇报结果。 为TaskSet创建和维护一个TaskSetManager, 并追踪任务的本地性及错误信息。 遇到Straggle任务会放到其他结点进行重试。 向DAGScheduler汇报执行情况， 包括在Shuffle输出丢失时报告fetch failed错误等信息。 TaskScheduler底层调度器1. TaskScheduler原理剖析2. TaskScheduler源代码解析2.1 TaskScheduler 实例化源代码.
Spark性能优化
weixin_45738893的博客
01-10 1051
Spark性能优化篇 Spark性能调优主要包括以下手段： 对RDD使用高性能序列化类库 优化数据结构 对多次使用的RDD进行持久化 / Checkpoint 使用序列化的持久化级别 Java虚拟机垃圾回收调优 提高并行度 广播共享数据 数据本地化 reduceByKey和groupByKey的合理使用 Shuffle调优 算子调优 上述这几...
spark（standalone,yarn）
qq_45409791的博客
07-28 476
Executor执行器，task在其中执行，缓存数据Task自己写的spark算子的代码逻辑封装的线程对象新建SparkContext程序，spark的控制程序，负责将task发送到executor中去执行executor的数量，内存，和core都可以手动设置--executor-cores1(其数量决定同时可以执行的task的数量).........
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4641
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
spark提交任务的基础配置解释
Deltao_Taic的博客
02-08 1705
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queue \ #总的executors数 根据数据量与自己的集群资源来分配 --num-executors 35 \ #每个executor的核数 --executor-cores 5 \ #每个executor的内存
关于spark yarn模式下的常用属性
Lestat.Z.的博客
05-11 3482
前言 整理了spark官网提供的一些常用的spark属性。 Spark属性 属性名 默认值 描述 spark.yarn.am.memory 512m 在Client模式下用于YARN Application Master的内存量，格式与JVM内存字符串相同（例如512m，2g）。在Cluster模式下，请改用spark.driver.memory。使用小写后缀，例如 k，m，g，t和...
yarn模式运行spark作业所有属性详解
weixin_34248487的博客
08-01 232
摘要:Spark 参数调优，可以大大提高工作中程序的运行效率。下面简单介绍一下这些常用的调优参数属性名称 默认值 含义spark.yarn.am.memory 512m client模式下，YARN Application Master使用的内存总量spark.yarn.am.cores 1 ...
【译】Yarn上常驻Spark-Streaming程序调优
weixin_30371875的博客
09-30 209
作者从容错、性能等方面优化了长时间运行在yarn上的spark-Streaming作业 对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成功并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值