mysql从当前月向前推12_任务的推测执行（****）

1)作业完成时间取决于最慢的任务完成时间

一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等，某些任务可能运行非常慢。

典型案例：系统中有99%的Map任务都完成了，只有少数几个Map老是进度很慢，完不成，怎么办？

2)推测执行机制：

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。

3)执行推测任务的前提条件

(1)每个task只能有一个备份任务；

(2)当前job已完成的task必须不小于0.05(5%)

(3)开启推测执行参数设置。Hadoop2.7.2 mapred-site.xml文件中默认是打开的。

mapreduce.map.speculative

true

If true, then multiple instances of some map tasks                may be executed in parallel.

mapreduce.reduce.speculative

true

If true, then multiple instances of some reduce tasks

may be executed in parallel.

4)不能启用推测执行机制情况

(1)任务间存在严重的负载倾斜；

(2)特殊任务，比如任务向数据库中写数据。

5)算法原理：(要会推算公式)

本文地址：https://blog.youkuaiyun.com/zhao2chen3/article/details/110693818

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！