[置顶] Spark排错与优化

Spark报错处理系列之:org.apache.spark.SparkException: Job aborted due to stage failure FileNotFoundException Spark报错处理系列之:org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 312.0 failed 4 times, most recent failure: Lost task 0.3 in stage 312.0 TID 9203,dn-005, executor 236: java.io.FileNotFoundException: File does not exist ... It 阅读详情
 

[置顶] Spark排错与优化

标签: spark优化 spark spark排错
41828人阅读  评论(10)  收藏  举报
  分类:
Spark(64) 

目录(?)[+]

一. 运维

1. Master挂掉,standby重启也失效

Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master自然也会因为这个原因失败。

解决
  1. 增加Master的内存占用,在Master节点spark-env.sh 中设置:

    export SPARK_DAEMON_MEMORY 10g # 根据你的实际情况
    
  2. 减少保存在Master内存中的作业信息

    spark.ui.retainedJobs 500   # 默认都是1000
    spark.ui.retainedStages 500
    

2. worker挂掉或假死

有时候我们还会在web ui中看到worker节点消失或处于dead状态,在该节点运行的任务则会报各种 lost worker的错误,引发原因和上述大体相同,worker内存中保存了大量的ui信息导致gc时失去和master之间的心跳。

解决
  1. 增加Master的内存占用,在Worker节点spark-env.sh 中设置:

    export SPARK_DAEMON_MEMORY 2g # 根据你的实际情况
    
  2. 减少保存在Worker内存中的Driver,Executor信息

    spark.worker.ui.retainedExecutors 200   # 默认都是1000
    spark.worker.ui.retainedDrivers 200   
    

二. 运行错误

1.shuffle FetchFailedException

Spark Shuffle FetchFailedException解决方案

错误提示
  1. missing output location

    org.apache.spark.shuffle.MetadataFetchFailedException: 
    Missing an output location for shuffle 0
    

    missing output location

  2. shuffle fetch faild

    org.apache.spark.shuffle.FetchFailedException:
    Failed to connect to spark047215/192.168.47.215:50268
    

    shuffle fetch faild

    当前的配置为每个executor使用1core,5GRAM,启动了20个executor

解决

这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行,一直循环下去,直到application失败。

faild

一般遇到这种问题提高executor内存即可,同时增加每个executor的cpu,这样不会减少task并行度。

  • spark.executor.memory 15G
  • spark.executor.cores 3
  • spark.cores.max 21

启动的execuote数量为:7个

execuoterNum = spark.cores.max/spark.executor.cores 

每个executor的配置:

3core,15G RAM

消耗的内存资源为:105G RAM

15G*7=105G

可以发现使用的资源并没有提升,但是同样的任务原来的配置跑几个小时还在卡着,改了配置后几分钟就能完成。

2.Executor&Task Lost

错误提示
  1. executor lost

    WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, aa.local):
    ExecutorLostFailure (executor lost)
    
  2. task lost

    WARN TaskSetManager: Lost task 69.2 in stage 7.0 (TID 1145, 192.168.47.217):
    java.io.IOException: Connection from /192.168.47.217:55483 closed
    
  3. 各种timeout

    java.util.concurrent.TimeoutException: Futures timed out after [120 second]
    
    ERROR TransportChannelHandler: Connection to /192.168.47.212:35409 
    has been quiet for 120000 ms while there are outstanding requests.
    Assuming connection is dead; please adjust spark.network.
    timeout if this is wrong
    
解决

由网络或者gc引起,worker或executor没有接收到executor或task的心跳反馈。 
提高 spark.network.timeout 的值,根据情况改成300(5min)或更高。 
默认为 120(120s),配置所有网络传输的延时,如果没有主动设置以下参数,默认覆盖其属性

  • spark.core.connection.ack.wait.timeout
  • spark.akka.timeout
  • spark.storage.blockManagerSlaveTimeoutMs
  • spark.shuffle.io.connectionTimeout
  • spark.rpc.askTimeout or spark.rpc.lookupTimeout

3.倾斜

错误提示
  1. 数据倾斜

    数据倾斜

  2. 任务倾斜 
    差距不大的几个task,有的运行速度特别慢。

解决

大多数任务都完成了,还有那么一两个任务怎么都跑不完或者跑的很慢,分为数据倾斜和task倾斜两种。

  1. 数据倾斜 
    数据倾斜大多数情况是由于大量的无效数据引起,比如null或者”“,也有可能是一些异常数据,比如统计用户登录情况时,出现某用户登录过千万次的情况,无效数据在计算前需要过滤掉。 
    数据处理有一个原则,多使用filter,这样你真正需要分析的数据量就越少,处理速度就越快。

    sqlContext.sql("...where col is not null and col != ''")
    

    具体可参考: 
    解决spark中遇到的数据倾斜问题

  2. 任务倾斜 
    task倾斜原因比较多,网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢,可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢。 
    或者可以开启spark的推测机制,开启推测机制后如果某一台机器的几个task特别慢,推测机制会将任务分配到其他机器执行,最后Spark会选取最快的作为最终结果。

    • spark.speculation true
    • spark.speculation.interval 100 - 检测周期,单位毫秒;
    • spark.speculation.quantile 0.75 - 完成task的百分比时启动推测
    • spark.speculation.multiplier 1.5 - 比其他的慢多少倍时启动推测。

4.OOM

错误提示

堆内存溢出

java.lang.OutOfMemoryError: Java heap space
解决

内存不够,数据太多就会抛出OOM的Exeception,主要有driver OOM和executor OOM两种

  1. driver OOM 
    一般是使用了collect操作将所有executor的数据聚合到driver导致。尽量不要使用collect操作即可。

  2. executor OOM 
    可以按下面的内存优化的方法增加code使用内存空间

    • 增加executor内存总量,也就是说增加spark.executor.memory的值
    • 增加任务并行度(大任务就被分成小任务了),参考下面优化并行度的方法

5.task not serializable

错误提示
org.apache.spark.SparkException: Job aborted due to stage failure: 
Task not serializable: java.io.NotSerializableException: ...
解决

如果你在worker中调用了driver中定义的一些变量,Spark就会将这些变量传递给Worker,这些变量并没有被序列化,所以就会看到如上提示的错误了。

val x = new X()  //在driver中定义的变量
dd.map{r => x.doSomething(r) }.collect  //map中的代码在worker(executor)中执行
  • 1
  • 2

除了上文的map,还有filter,foreach,foreachPartition等操作,还有一个典型例子就是在foreachPartition中使用数据库创建连接方法。这些变量没有序列化导致的任务报错。

下面提供三种解决方法:

  1. 将所有调用到的外部变量直接放入到以上所说的这些算子中,这种情况最好使用foreachPartition减少创建变量的消耗。
  2. 将需要使用的外部变量包括sparkConf,SparkContext,都用 @transent进行注解,表示这些变量不需要被序列化
  3. 将外部变量放到某个class中对类进行序列化。

6.driver.maxResultSize太小

错误提示
Caused by: org.apache.spark.SparkException:
 Job aborted due to stage failure: Total size of serialized 
 results of 374 tasks (1026.0 MB) is bigger than
  spark.driver.maxResultSize (1024.0 MB)
解决

spark.driver.maxResultSize默认大小为1G 每个Spark action(如collect)所有分区的序列化结果的总大小限制,简而言之就是executor给driver返回的结果过大,报这个错说明需要提高这个值或者避免使用类似的方法,比如countByValue,countByKey等。

将值调大即可

spark.driver.maxResultSize 2g

7.taskSet too large

错误提示
WARN TaskSetManager: Stage 198 contains a task of very large size (5953 KB). The maximum recommended task size is 100 KB.
  • 1

这个WARN可能还会导致ERROR

Caused by: java.lang.RuntimeException: Failed to commit task

Caused by: org.apache.spark.executor.CommitDeniedException: attempt_201603251514_0218_m_000245_0: Not committed because the driver did not authorize commit
  • 1
  • 2
  • 3
解决

如果你比较了解spark中的stage是如何划分的,这个问题就比较简单了。 
一个Stage中包含的task过大,一般由于你的transform过程太长,因此driver给executor分发的task就会变的很大。 
所以解决这个问题我们可以通过拆分stage解决。也就是在执行过程中调用cache.count缓存一些中间数据从而切断过长的stage。

8. driver did not authorize commit

driver did not authorize commit

9. 环境报错

  1. driver节点内存不足 
    driver内存不足导致无法启动application,将driver分配到内存足够的机器上或减少driver-memory

    Java HotSpot(TM) 64-Bit Server VM warning: INFO:
    

    os::commit_memory(0x0000000680000000, 4294967296, 0) failed; 
    error=’Cannot allocate memory’ (errno=12)

  2. hdfs空间不够 
    hdfs空间不足,event_log无法写入,所以 ListenerBus会报错 ,增加hdfs空间(删除无用数据或增加节点)

    Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException):
     File /tmp/spark-history/app-20151228095652-0072.inprogress 
     could only be replicated to 0 nodes instead of minReplication (=1)
    
    ERROR LiveListenerBus: Listener EventLoggingListener threw an exception
    java.lang.reflect.InvocationTargetException
    
  3. spark编译包与hadoop版本不一致 
    下载对应hadoop版本的spark包或自己编译。

    java.io.InvalidClassException: org.apache.spark.rdd.RDD;
     local class incompatible: stream classdesc serialVersionUID
    
  4. driver机器端口使用过多 
    在一台机器上没有指定端口的情况下,提交了超过15个任务。

    16/03/16 16:03:17 ERROR SparkUI: Failed to bind SparkUI
    java.net.BindException: 地址已在使用: Service 'SparkUI' failed after 16 retries!
    

    提交任务时指定app web ui端口号解决:

    --conf spark.ui.port=xxxx
    
  5. 中文乱码

    使用write.csv等方法写出到hdfs的文件,中文乱码。JVM使用的字符集如果没有指定,默认会使用系统的字符集,因为各个节点系统字符集并不都是UTF8导致,所以会出现这个问题。直接给JVM指定字符集即可。

    spark-defaults.conf

    spark.executor.extraJavaOptions -Dfile.encoding=UTF-8
    

三. 一些python错误

1.python版本过低

java.io.UIException: Cannot run program "python2.7": error=2,没有那个文件或目录

spark使用的python版本为2.7,centOS默认python版本为2.6,升级即可。

2.python权限不够

错误提示

部分节点上有错误提示

java.io.IOExeception: Cannot run program "python2.7": error=13, 权限不够
解决

新加的节点运维装2.7版本的python,python命令是正确的,python2.7却无法调用,只要改改环境变量就好了。

3.pickle使用失败

错误提示
TypeError: ('__cinit__() takes exactly 8 positional arguments (11 given)',
 <type 'sklearn.tree._tree.Tree'>, (10, array([1], dtype=int32), 1,
  <sklearn.tree._tree.RegressionCriterion object at 0x100077480>,
   50.0, 2, 1, 0.1, 10, 1, <mtrand.RandomState object at 0x10a55da08>))
解决

该pickle文件是在0.17版本的scikit-learn下训练出来的,有些机器装的是0.14版本,版本不一致导致,升级可解决,记得将老版本数据清理干净,否则会报各种Cannot import xxx的错误。

4.python编码错误

错误提示
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
解决

方法1:

import sys  
reload(sys)  
sys.setdefaultencoding('utf-8')
  • 1
  • 2
  • 3

方法2:

//报错
str(u'中国')
//不报错
str(u'中国'.encode('utf-8'))
  • 1
  • 2
  • 3
  • 4

四. 一些优化

1. 部分Executor不执行任务

有时候会发现部分executor并没有在执行任务,为什么呢?

(1) 任务partition数过少, 
要知道每个partition只会在一个task上执行任务。改变分区数,可以通过 repartition 方法,即使这样,在repartition 前还是要从数据源读取数据,此时(读入数据时)的并发度根据不同的数据源受到不同限制,常用的大概有以下几种:

hdfs - block数就是partition数
mysql - 按读入时的分区规则分partition
es - 分区数即为 es 的 分片数(shard)

(2) 数据本地性的副作用

taskSetManager在分发任务之前会先计算数据本地性,优先级依次是:

process(同一个executor) -> node_local(同一个节点) -> rack_local(同一个机架) -> any(任何节点)

Spark会优先执行高优先级的任务,任务完成的速度很快(小于设置的spark.locality.wait时间),则数据本地性下一级别的任务则一直不会启动,这就是Spark的延时调度机制。

举个极端例子:运行一个count任务,如果数据全都堆积在某一台节点上,那将只会有这台机器在长期计算任务,集群中的其他机器则会处于等待状态(等待本地性降级)而不执行任务,造成了大量的资源浪费。

判断的公式为:

curTime – lastLaunchTime >= localityWaits(currentLocalityIndex)

其中 curTime 为系统当前时间,lastLaunchTime 为在某优先级下最后一次启动task的时间

如果满足这个条件则会进入下一个优先级的时间判断,直到 any,不满足则分配当前优先级的任务。

数据本地性任务分配的源码在 taskSetManager.scala 。

如果存在大量executor处于等待状态,可以降低以下参数的值(也可以设置为0),默认都是3s。

spark.locality.wait
spark.locality.wait.process
spark.locality.wait.node
spark.locality.wait.rack

当你数据本地性很差,可适当提高上述值,当然也可以直接在集群中对数据进行balance。

2. spark task 连续重试失败

有可能哪台worker节点出现了故障,task执行失败后会在该 executor 上不断重试,达到最大重试次数后会导致整个 application 执行失败,我们可以设置失败黑名单(task在该节点运行失败后会换节点重试),可以看到在源码中默认设置的是 0,

private val EXECUTOR_TASK_BLACKLIST_TIMEOUT =
    conf.getLong("spark.scheduler.executorTaskBlacklistTime", 0L)  
  • 1
  • 2

在 spark-default.sh 中设置

spark.scheduler.executorTaskBlacklistTime 30000

当 task 在该 executor 运行失败后会在其它 executor 中启动,同时此 executor 会进入黑名单30s(不会分发任务到该executor)。

3. 内存

如果你的任务shuffle量特别大,同时rdd缓存比较少可以更改下面的参数进一步提高任务运行速度。

spark.storage.memoryFraction - 分配给rdd缓存的比例,默认为0.6(60%),如果缓存的数据较少可以降低该值。 
spark.shuffle.memoryFraction - 分配给shuffle数据的内存比例,默认为0.2(20%) 
剩下的20%内存空间则是分配给代码生成对象等。

如果任务运行缓慢,jvm进行频繁gc或者内存空间不足,或者可以降低上述的两个值。 
"spark.rdd.compress","true" - 默认为false,压缩序列化的RDD分区,消耗一些cpu减少空间的使用

4. 并发

mysql读取并发度优化

spark.default.parallelism 
发生shuffle时的并行度,在standalone模式下的数量默认为core的个数,也可手动调整,数量设置太大会造成很多小任务,增加启动任务的开销,太小,运行大数据量的任务时速度缓慢。

spark.sql.shuffle.partitions 
sql聚合操作(发生shuffle)时的并行度,默认为200,如果该值太小会导致OOM,executor丢失,任务执行时间过长的问题

相同的两个任务: 
spark.sql.shuffle.partitions=300:

并行度300

spark.sql.shuffle.partitions=500:

并行度500

速度变快主要是大量的减少了gc的时间。

但是设置过大会造成性能恶化,过多的碎片task会造成大量无谓的启动关闭task开销,还有可能导致某些task hang住无法执行。

这里写图片描述

修改map阶段并行度主要是在代码中使用rdd.repartition(partitionNum)来操作。

5. shuffle

spark-sql join优化 
map-side-join 关联优化

6. 磁盘

磁盘IO优化

7.序列化

kryo Serialization

8.数据本地性

Spark不同Cluster Manager下的数据本地性表现 
spark读取hdfs数据本地性异常

9.代码

编写Spark程序的几个优化点

Spark报错处理系列之:Exception in thread “main“ org.apache.spark.SparkException: Job aborted due to stage Spark报错处理系列之:Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 23 tasks 1043.8 MB is bigger than spark.driver.maxResultSize 1024.0 MB 阅读详情

相关推荐

Spark报错处理系列之:Task 0 in stage 11.0 failed 4 times, most recent failure: Lost task 0.3 in stage 11.0

Spark报错处理系列之:Task 0 in stage 11.0 failed 4 times, most recent failure: Lost task 0.3 in stage 11.0

zhengzaifeidelushang的博客 1462

org.apache.spark.SparkException: Job aborted due to stage failure:Task 1 in stage 0.0 failed 4 times

在运行spark代码时,执行过半报出了如题的异常: 只能得知job没有正常执行,但是不知道具体的问题出现在哪里,没法直接看出错误就要去日志查看更详细的错误日志 每个application执行的日志都在如下路径中:hadoop安装目录下 /opt/apps/hadoop-3.1.1/logs/userlogs/ 该目录中会列出所有已经执行过的application drwx--x---. 3 root root 52 Oct 14 16:56 application_1602637680764

LOGAN'S BLOG 4万+

Spark报错处理系列之:Job aborted.Caused by: java.io.FileNotFoundException: File ... does not exist.

Spark报错处理系列之:Job aborted.Caused by: java.io.FileNotFoundException: File ... does not exist.

zhengzaifeidelushang的博客 1652

Spark排错与优化

一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master自然也会因为这个原因失败。 解决 增加Master的内存占用...

weixin_30383279的博客 925

Spark java.lang.ClassCastException

详细报错信息: Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1588) at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:

开卷有益 672

STM32 烧录报错Invalid ROM Table

STM32 烧录报错Invalid ROM Table

热爱科技,物联,程序开发等 1735

PlayIntegrityFix 通过 Android 设备完整性验证完全指南

刚解锁 Bootloader、装好 Root 工具,正兴奋地往手机上搬日常 App,结果打开银行应用弹出一句"设备完整性验证失败",支付、部分游戏、甚至视频会员资格都卡在同一堵墙上。这是几乎所有 Root 用户迟早会撞上的场景:Google Play Integrity 判定你的设备"不安全"。**PlayIntegrityFix** 就是社区里最流行的开源解法之一,它以 Magisk 模块的形式

gitblog_00763的博客 229

【社区分享】从零开始学习 TinyML,建立 TensorFlow 深度学习模型(技术优化篇)

本文来自社区投稿与征集,作者王玉成,ML&IoT Google Developers Expert,温州大学智能锁具研究院总工程师。 了解更多:https://blog.youkuaiyun.com/wfing 经过前面几章的讨论,我们了解了TinyML 的概念,完成了一个最简单的TinyML 的模型并且运行在微控制器上,得出最基本的结果。但是在实际的工程应用中,模型建立之后,也需要再进一步结合许多优化方面的技术,这就是我们接下来想要探讨的。 5. 优化 TinyML 这本书也详细的向我...

tensorflowforum的博客 1万+

Job failed with org.apache.spark.SparkException: Job aborted due to stage failure

今天在自己写了一个 jar 使用 hive on spark 模式 提交到 yarn上运行 发现一直报这个错误 Job failed with org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 4, hadoop101, executor 2):

qq_44463295的博客 1万+

Python大数据舆情分析系统开发实战

舆情监测系统是大数据分析的重要应用场景,通过自然语言处理(NLP)技术解析社交媒体文本情感倾向。基于Python技术栈的解决方案整合了Scrapy爬虫框架进行数据采集,PySpark处理海量文本数据,结合SnowNLP和Jieba实现中文语义分析。系统采用微服务架构设计,包含数据采集层、处理层、存储层和应用层,通过情感分析优化和实时热点检测算法提升监测准确率。典型应用包括企业品牌监测、公共事件预警等场景,开发过程中需特别注意数据合规性和分布式集群的性能调优。

weixin_34408624的博客 388

从零部署奥比中光Gemini335L:Python SDK编译与手眼标定环境实战

本文提供了一份从零部署奥比中光Gemini 335L深度相机的完整实战指南。详细介绍了驱动安装、Python SDK编译、CMake配置及虚拟环境搭建等关键步骤,并重点解析了如何通过编译生成Python模块,最终实现深度图与点云数据获取,为后续的机械臂手眼标定工作奠定坚实基础。

weixin_29031161的博客 402

Spark任务:Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure问题

Spark任务:Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure问题 跑Spark任务时报错,复制任务id(application_1111_222)到yarn页面中检索,发现报以下错误: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure 使用sc读取

qq_45677071的博客 1万+

simulink可控励磁同步电机模型分析

他励同步电机模型分析

qq_26681609的博客 5552

Exception in thread“main“org.apache.spark.SparkException:Job aborted due to stage failure:Task 0:已解决

这个报错是由于把文件中字符串转换为数字时,遇到了空字符串(" ")导致的。我们得检查输入数据文件是否存在空行或空字符串。如下图所示,发现是在文件中分隔数据时多了一个空格,我们将其删除,便不报错了

屹力97 4304

如何为 Claude Code 配置代理与网络环境

那么大概率不是软件问题,而是。因为 Claude Code 是运行在终端里的,不是浏览器。

sg_knight的专栏 3486

FPGA面试题目笔记(一)——FPGA开发流程、亚稳态和竞争冒险、建立保持时间、异步FIFO深度等

同步异步电路、同步异步复位、时钟偏移和抖动、最小工作周期计算、触发器锁存器

H19981118的博客 1万+

Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task

Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task

Mogeko1的博客 4124

SAP ABAP Web Service 的创建与消费:保姆级教程

SOAP 定义了消息的格式和传输规则,使得 Web Service 可以在不同的操作系统和网络环境中通信。通过 WSDL,服务的提供者可以明确地定义服务的功能,而服务的使用者则可以通过解析 WSDL 文件,了解如何正确地调用该服务。它封装了与 Web 服务通信的所有复杂性,如消息格式的构建、传输协议的选择、请求的发送和响应的处理等。除了本文介绍的 ABAP 编程语言之外,我们还可以通过 Java,Node.js,C++,C#,Python 等其他编程语言来消费本文创建的 ABAP Web Service.

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 717

Job aborted due to stage failure: Task 20 in stage 3.0 failed 1 times, most recent failure:问题

今天执行了一个spark,调整了启动参数 正常运行到一半时报错: Job aborted due to stage failure: Task 20 in stage 3.0 failed 1 times, most recent failure: Lost task 20.0 in stage 3.0 (TID 240, localhost, executor driver): com.alibaba.druid.pool.GetConnectionTimeoutException: wait milli

LZX的博客 6097

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Not committed because the driver did not authorize commit

前言 本文隶属于专栏《Spark异常问题汇总》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见 Spark异常问题汇总 正文 启动 Speculative 后,运行较慢的task会在其他executor上同时再启动一个相同的task,如果其中一个task执行完毕,相同的另一个task就会被禁止提交。因此产生了这个WARN。 这个WARN是因为task提交commit被driver拒绝引发,这个错误不会被统计在stage的failure中,这样做的

Shockang的博客 750

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Job aborted due to stage failure: Total size of serialized results of 31 tasks (1043.8 MB) is bigger

spark.driver.maxResultSize Job aborted due to stage failure: Total size of serialized results of 31 tasks (1043.8 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

来自西北的杨柳 6178

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

工作中遇到问题以及解决方法

Jdbc连接数据库表名称低级错误 先检查写入的数据类型与表中栏位类型是否一致 上面如果一致仍然还有报错的话,这时候检查的是代码中的sql语句 可以发现表名称的后面有小数点和“--”符号,这样子也会导致出现这样子的错误。 Azkaban的执行缺陷 由于Azkaban中的每个job都是一个进程,在Azkaban中判断job成功与否是根据这个进程是否成功执行完成,但是在MR或者Spar...

qq_34649040的博客 7899

org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)

org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024) 本地local模式运行报spark.driver.maxResultSize超出1024M, 接下来分解决方法、参数含义及默认值等维度说明。 一、解决方法: 增大spark.driver.maxResultSize,设置方式是 sparkConf.set("spark.driver.maxResultSi

xiaopihaierletian的博客 1660

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 fa

因为本机的scala、spark与虚拟机的scala、spark版本不匹配,例如我的本机scala版本是2.11.8,虚拟机的版本是2.12.17,因此需要修改idea中的pom.xml文件与虚拟机对应的版本号。

lihelu的博客 1629

Spark报错 driver did not authorize commit

启动Spark Speculative后,有时候运行任务会发现如下提示:WARN TaskSetManager: Lost task 55.0 in stage 15.0 (TID 20815, spark047216)org.apache.spark.executor.CommitDeniedException: attempt_201604191557_0015_m_000055_0: Not

偷闲小苑 6697
上一篇: Linux学习-CentOS7修改主机名小结
下一篇: zookeeper集群搭建
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值