spark推测执行(填坑)

最新推荐文章于 2023-02-21 23:33:59 发布
原创 最新推荐文章于 2023-02-21 23:33:59 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Spark中开启推测执行并详细解释了其工作原理。此外还探讨了推测执行在不同场景下的应用，并通过实例说明了在特定情况下使用推测执行可能导致的问题。

1、spark推测执行开启

设置 spark.speculation=true即可

额外设置

1. spark.speculation.interval 100：检测周期，单位毫秒；
2. spark.speculation.quantile 0.75：完成task的百分比时启动推测；
3. spark.speculation.multiplier 1.5：比其他的慢多少倍时启动推测。

2、spark开启推测执行的好处

推测执行是指对于一个Stage里面运行慢的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例，从而加快运行速度

3、问题

我们的spark任务会将计算结果写入kafka，再有logstash写入es。

最近由于kafka集群写入慢，甚至写不进去，spark任务直接卡住，为防止卡住的情况发生，加了推测执行，但发现跑出来的数据存在重复的情况。同一条数据写了2次，排查发现是由于推测执行的问题，像这种讲执行结果写入kafka的场景，不适用推测执行，因为一个task虽然没有执行完，但是一部分结果已经输出了，启动多个task就会造成数据重复，所以具体的配置还是要看应用的场景来做权衡

Spark 推测执行原理和应用
数据与算法架构提升之路专栏
05-13 1218
在Spark中，可以通过推测执行，来识别并在其他节点的Executor上重启某些运行缓慢的Task，并行处理同样的数据,谁先完成就用谁的结果，并将另一个未完成的Task Kill掉，从而加快Task处理速度
87-Spark推测执行spark.speculation
九师兄
07-04 5152
1. 背景 hadoop的推测执行 　　推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生...
Spark 推测执行(speculative)
Toby的博客
02-21 1020
Spark 推测执行(speculative)
Spark speculation（推测执行）详解
littlePYR的博客
03-12 6492
为什么需要speculation 我们都知道，Spark job中，一个stage什么时候完成，取决于stage下最后一个task的完成时间。task的完成时间也被很多因素影响，比如partition的分配，executor的资源使用情况，host的运行状态，集群网络等等。很多情况下因为运行环境导致的task跑的过慢，让task可以重新跑起来是可以缓解这个问题的，因此就Spark就启用了specu...
spark推测执行的坑
bottle123的专栏
05-11 5000
1、spark推测执行开启设置 spark.speculation=true即可2、spark开启推测执行的好处推测执行是指对于一个Stage里面运行慢的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例，从而加快运行速度3、问题我们的spark任务会将计算结果...
Spark 推测执行
qq_32445015的博客
03-29 1938
Spark 推测执行是一种优化技术。 在Spark中，可以通过推测执行，即Speculative Execution，来识别并在其他节点的Executor上重启某些运行缓慢的Task，并行处理同样的数据,谁先完成就用谁的结果，并将另一个未完成的Task Kill掉，从而加快Task处理速度。适用于某些Spark任务中部分Task被hang住或运行缓慢，从而拖慢了整个任务运行速度的场景。 注意: 1. 不是所有运行缓慢的Spark任务，都可以用推测执行来解决。 2. 使用推测执行时应谨...
spark推测执行 优点 缺点
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-02 980
基本概念 在spark程序中，推测任务是指对于一个stage里面拖后腿的task，会在其他节点的Executor上再次启动这个task，如果其中一个task的实例运行成功者将这个最先完成的task的计算结果，同时会干掉其它Executor上运行的实例。默认情况下推测执行时关闭的。 开启推测的优点： 解决慢task提升作业的整体执行进度 解决分布式集群环境下，负载不均衡或者资源分布不均等问题 解决因机器或者程序bug导致执行task的进程hang（暂时停止执行）住，使得job无法...
[spark] spark推测式执行
UFO的博客
10-19 4296
推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的，可通过spark.speculation属性来开启。检测是否有需要推测式执行的Task在SparkContext创建了schedul
Spark踩坑vlog-推测执行spark.speculation
qq_35583915的博客
03-30 618
Spark踩坑vlog-推测执行spark.speculation踩坑背景踩坑原因解决原因教训 踩坑背景 流程如下所示： 1.使用SparkSQL获取到了一个DataFrame； 2.然后map这个DataFrame，调用GET接口，获得了IDs作为一个新的DatdaFrame； 3.最后再map这个DataFrame，在map中调用Post接口，将最终结果放到接口中。 踩坑原因 因为比较懒，所以在spark-submit的时候，脚本直接复制了另外一个Spark作业的提交脚本，但是万万没想到的是：这个脚本
Spark调优之推测执行
做个有梦想的程序员的博客
03-07 897
基本概念 在spark程序中，推测任务是指对于一个stage里面拖后腿的task，会在其他节点的Executor上再次启动这个task，如果其中一个task的实例运行成功者将这个最先完成的task的计算结果，同时会干掉其它Executor上运行的实例。默认情况下推测执行时关闭的。 开启推测的优点： 解决慢task提升作业的整体执行进度 解决分布式集群环境下...
spark推测执行
u012957549的博客
02-23 758
一. 简介 再我们run spark job 的时候 有时候可能会遇到 很少一部分task 运行的时候出错了或者卡住了。又不想直接重新run 一下 这样太不方便了而且还需要手动参与。 spark 为了这样的情况提供了了一种机制叫推测执行这种机制默认是关闭的需要手动开启。 二. 配置 设置 spark.speculation=true即可 额外设置 1. spark.speculation.inte...
spark之推测执行
qq_34382453的博客
01-04 1879
1、什么是推测执行？   在spark作业运行中，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务，spark就会在不同的executor上再启动一个task来跑这个任务，...
spark推测执行引发的思考
lhxsir的博客
05-31 445
终于到周五了，打开电脑查看集群运行情况， 某个workflow原来执行完只需要1h，现在执行时间翻倍？ workflow 历史执行时间 4:00-5:14 workflow2 历史执行时间 5:00-5:56 根据Start Time显示workflow在4:21开始执行，5:00被workflow2卡死， 在workflow2 释放资源后，5:52又重新启动并执行成功的。 于是调整work...
spark推测机制及参数设置
祁东握力的博客
03-31 766
推测执行机制 推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的，可通过spark.speculation属性来开启 推测机制的设置 --conf spark.speculation=true --conf spark.speculation.interval=100 ...
从Spark组件来剖析Spark的执行流程
谦蓦的博客
11-03 1929
从Spark组件来剖析Spark的执行流程 0 从对比的视角来看Spark 0.1 Hadoop VS Spark 0.2 Spark VS Flink Flink 作为后起之秀，发展迅猛，有Ali 的 Blink 在支撑，流行起来是早晚的事流计算：Flink要强一些，真正的流计算。不过，Spark Summit 2017 大会也有说到 Spark 2.2
Spark的推测机制【大数据开发面试】
wyqwilliam的博客
07-22 866
 spark推测式执行 推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的，可通过spark.speculation属性来开启。...
Spark源码系列（三）作业运行过程
超级帅的一个小伙子的博客
04-23 422
作业执行 上一章讲了RDD的转换，但是没讲作业的运行，它和Driver Program的关系是啥，和RDD的关系是啥？官方给的例子里面，一执行collect方法就能出结果，那我们就从collect开始看吧，进入RDD，找到collect方法。def collect(): Array[T] = { val results = sc.runJob(this, (iter: Iterator[
spark 推测执行
最新发布
10-16
<think>嗯，用户明确询问Spark推测执行的原理、作用及配置方法，并且提供了四篇站内引用文献。其中引用[1]详细描述了推测执行的工作流程，引用[2]提到关键配置参数，引用[3]和[4]虽然涉及Spark架构但相关性较弱。 用户可能正在处理Spark性能优化问题，特别是遇到长尾任务拖慢整体作业的情况。ta的提问非常聚焦，说明有一定分布式计算基础，但需要具体配置指导。值得注意的是ta特意强调"不是真正的需求"，暗示更关注技术细节而非示例引用。 从技术角度看，需要分三部分解答： 原理部分要强调Spark的stage隔离性（引用[1]的关键点）和健康检查机制，特别说明Driver如何通过周期性统计任务进度（引用[4]的Listener机制）触发推测； 作用方面需结合生产场景，比如ETL作业中的skew问题缓解； 配置参数要以引用[2]为基础展开，但要注意补充实际工程经验值（例如multiplier设为1.3-1.8更合理）。 突然想到需要警告风险点：当集群资源紧张时开启推测可能恶化情况，这点用户容易忽略。另外引用[3]提到的平台统一性虽不直接相关，但可以引申到推测执行在不同计算模型（如Streaming）中的通用性。 </think>Spark推测执行是一种优化机制，用于解决长尾任务（Straggler Task）导致的作业延迟问题。以下是其核心原理、作用及配置方法的详细说明： --- ### **一、原理** 1. **监控机制** Driver周期性（由`spark.speculation.interval`控制）检查所有**运行中Task**的进度，统计已完成Task的耗时分布。 2. **触发条件**（需同时满足） - 已完成Task占比 ≥ `spark.speculation.quantile`（默认0.75） - 某运行中Task耗时 > **已完成Task中位数的倍数** × `spark.speculation.multiplier`（默认1.5倍） 即：$$T_{\text{slow}} > \text{median}(T_{\text{completed}}) \times \text{multiplier}$$ 3. **任务复制** 对符合条件的长尾Task，在**其他Executor**上启动相同任务的副本。多个副本竞争执行，**首个完成的任务输出被采纳**，其余副本终止[^1][^2]。 4. **阶段隔离性** 推测仅在**同一Stage内生效**，不同Stage的Task互不影响[^1]。 --- ### **二、核心作用** 1. **降低长尾效应影响** 解决因机器性能波动、数据倾斜、GC停顿等导致的个别Task拖慢整体作业的问题。 2. **提升资源利用率** 空闲Executor可执行任务副本，避免资源闲置。 3. **增强作业稳定性** 减少因单点故障或慢节点引发的作业超时失败。 > ✅ **典型场景**：ETL作业中部分分区数据分布不均，或集群部分节点负载过高时。 --- ### **三、配置参数** | **参数** | **默认值** | **说明** | |----------|------------|----------| | `spark.speculation` | `false` | 总开关，需设为`true`启用推测 | | `spark.speculation.interval` | 100ms | Driver检测Task进度的频率 | | `spark.speculation.quantile` | 0.75 | 已完成的Task占比阈值，达到后才触发检查 | | `spark.speculation.multiplier` | 1.5 | 慢Task判定阈值（相对于中位数的倍数） | | `spark.speculation.minTaskRuntime` | 100ms | 仅对运行时间超过此值的Task启用推测[^2] | **示例配置**： ```bash spark-submit \ --conf spark.speculation=true \ --conf spark.speculation.interval=500 \ --conf spark.speculation.quantile=0.8 \ --conf spark.speculation.multiplier=1.8 ``` --- ### **四、注意事项** 1. **资源消耗权衡** 副本任务会消耗额外CPU和网络带宽，在资源紧张集群可能适得其反。 2. **数据一致性** 仅适用于**幂等任务**（如Spark的RDD操作），重复执行不影响结果正确性。 3. **输出策略** 首个成功任务输出后，通过`JobListener.taskSucceeded`标记结果[^4]，其余副本被终止。 > ⚠️ **不适用场景**：Task依赖外部状态（如数据库写入）或非幂等操作时需关闭推测。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值