01-集群空间被沾满导致sparksql执行失败异常

踩大侠

于 2018-05-07 20:29:39 发布

阅读量623

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签：空间沾满 sparksql异常

本文链接：https://blog.youkuaiyun.com/liu82327114/article/details/80230983

spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了解决Spark SQL异常的具体步骤，包括删除yarn产生的usercache目录以临时解决问题，并提出为根本解决问题需要扩展集群并进行balance。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

异常log：

Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 799 in stage 9537.0 failed 4 times, most recent failure: Lost task 799.3 in stage 9537.0 (TID 14699170, node37.tj.leap.com): java.io.IOException: No space left on device

解决方案：

1.将yarn产生的usercache目录删除，临时得以解决

2.没有从根本上解决问题，数据量太大，空间太小了，下次还会发生类似问题，扩展集群，再做balance才能从根本上解决问题