Mesos shuffle service unusable in Spark1.6

最新推荐文章于 2024-10-20 00:10:06 发布
原创 最新推荐文章于 2024-10-20 00:10:06 发布 · 866 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #spark排错

本文详细探讨了在使用Apache Spark 1.6版本和Mesos集群时遇到的shuffle文件在短时间内丢失的问题，以及内存使用不当导致executor直接被kill的情况。解释了此问题的根本原因在于Spark driver在连接超时后会清除与之相关的数据，并在特定版本中进行了修复。同时，文章还指出了内存管理不当可能导致的executor意外终止，而非传统的Out Of Memory (OOM)错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错提示:

WARN TaskSetManager: Lost task 132.0 in stage 2.0 (TID 5951, spark047207): java.io.FileNotFoundException: /data1/spark/tmp/blockmgr-5363024d-29a4-4f6f-bf87-127b95669c7c/1c/temp_shuffle_7dad1a33-286f-47d2-8506-da0a02e22c10

spark1.6之中，mesos粗粒度模式下为了使用动态 executor 机制，开启了MesosExternalShuffleService。结果发现只要过去2分钟，就会报找不到 shuffle 文件错误 (java.io.FileNotFoundException)。

spark driver通过 MesosExternalShuffleClient 连接到 MesosExternalShuffleService，当它断开的时候，会将所有和该driver有关系的数据清除。

在该版本中，不管driver是否存活，MesosExternalShuffleClient都会在spark.shuffle.io.connectionTimeout（或是spark.network.timeout） 设定的时间之后断开连接（因为其处于空闲状态）。shuffle文件也随之删除。

在当前版本中 MesosExternalShuffleService 是不可用的，所以也无法使用executor动态释放的特性。

这个问题将在spark2.0中进行修复
https://issues.apache.org/jira/browse/SPARK-12583

spark1.6还有一个bug，内存使用过多会直接kill掉executor，因此会直接报lost executor而不是提示OOM的错误。

【spark床头书系列】使用Apache Mesos部署Spark
wang2leee的博客
11-27 593
部署Spark与Mesos的优势包括： - 在Spark和其他框架之间进行动态分配资源 - 将资源按比例分配给多个Spark实例 - 安全性
mesos运行spark框架
weixin_36448728的博客
02-28 2703
所在的团队需要引入mesos平台以便运行spark并行计算，花了几天时间部署并测试运行成功，将步骤及遇到的问题整理一下。 1、mesos安装。 先是采用第三方的二进制包mesosphere安装，然后配置。这一个叫简单，下载到二进制包即可。 然后采用了源码编译的安装，安装步骤及遇到的问题如下说明： 1.1 下载meso源码包，链接：https://pan.baidu.com/s/1nwCwF...
linux下spark-shell中报错java.io.FileNotFoundException (Too many open files)
自渡
02-21 1851
caused by：java.io.FileNotFoundException: /tmp/blockmgr-f66a6a16-0bf5-4549-8650-bcfc367eafbb/1d/temp_shuffle_634ae49b-6255-4298-a22a-21f6a96bc818 (Too many open files) 该程序需要同时操作许多文件，所以会有报错提示too many o...
java.io.FileNotFoundException: *****(Too many open files)
weixin_41588082的博客
06-03 1208
报错：Caused by: java.io.FileNotFoundException: /tmp/blockmgr-4bd3ebf1-b8d4-4fab-b6af-3bfa2986f91d/2a/temp_shuffle_c61ed728-bfef-473b-a1df-13da3f6204e1 (Too many open files) 在linux下跑一个多线程读取文...
java.io.FileNotFoundException异常的完美解决方法，亲测有效，嘿嘿嘿
PythonAigc的博客
05-02 2万+
`java.io.FileNotFoundException` 是 Java 在尝试访问一个文件时，如果该文件不存在于指定的路径下，或者由于某种原因（如权限问题、路径错误等）无法被访问时，就会抛出的一个异常。 ### 问题分析 当我们在 Java 程序中执行与文件相关的操作时，比如读取文件内容、写入文件等，如果指定的文件路径不正确或文件不存在，程序就会抛出 `java.io.FileNotFoundException` 异常。 ### 报错原因 1. 文件路径错误：可能是文件路径写错了，或者文件没有
【Java报错已解决】 Java.io.FileNotFoundException
最新发布
鸽芷咕的博客
10-20 4694
在 Java 开发的过程中，报错信息常常让开发者们感到困扰。其中，Java.io.FileNotFoundException 是一个较为常见的报错。当遇到这个报错时，如何快速有效地解决呢？本文将深入探讨这个问题，为开发者和环境配置者提供详细的解决方案。
spark报错：FileNotFountException:file doesn‘t exist
KUKUKAKASSAN的博客
05-06 538
如果你确定文件存在，并且读不进去。那可能是开了集群模式。在集群模式下，需保证每台虚拟机固定的位置都存在相应的文件。解决方法是把master上的文件按照路径拷贝到所有worker上。
mesos-spark:在 mesos 集群上运行 spark 作业
07-06
金币火花 金币的火花。 用法 Docker 镜像由 spark 版本标记。 Mesos 的主 URL 格式为 mesos://host:5050（对于单主 Mesos 集群）或 mesos://zk://host:... --master <mesos> --conf spark.executor.uri=<spark d
数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka
02-20
摘要：在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现大量不同系统设计。除了纯粹的批量...
mesos-spark:Mesos-Spark 虚拟机
07-12
我想在 CoreOS 上运行 marathon-mesos-deimos 设置（ ）。 我被 Ebay 使用主机 docker 设置（ ）。 我想同时享受 CoreOS 和 mesos 资源管理，未来希望 kubernetes ( )。 先决条件 舰队控制 流浪汉 虚拟机 Python ...
3. Spark源码解析之Master启动流程解析
L, there!
08-01 947
启动Spark的Master，不管是执行start-all.sh还是直接在master节点直接启动start-master.sh，都会进入spark-master.sh开始。这里只是对Master的启动流程进行追踪，脚本的具体解析可以参照前篇，具体的Master实例化后面再解读。 脚本解析：Spark源码解析之启动脚本解析 首先进入spark-master.sh start-maste...
spark worker 启动失败 failed to launch org.apache.spark.deploy.worker.Worker
hzdxw的专栏
06-18 1万+
failed to launch org.apache.spark.deploy.worker.Worker
（完美解决）java文件操作报错：java.io.FileNotFoundException:（拒绝访问）
热门推荐
伊莱文
01-17 5万+
01-错误信息： Exception in thread "main" java.io.FileNotFoundException: e:\bb (拒绝访问。) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(Unknown Source) at java.io.FileOut...
mesos概述
weixin_30485379的博客
07-27 447
mesos解决的问题 不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资源利用率，运维成本，数据共享等因素，公司一般希望将所有这些框架部署到一个公共的集群中，让它们共...
Spark Shuffle FetchFailedException解决方案
qq_14950717的博客
12-13 1430
在大规模数据处理中，这是个比较常见的错误。当有大量的shuffle的时候，可能是因为网络传输或者磁盘IO引起的这个错误。 往往伴随的还有某个节点heart-timeout或者exectuor丢失. 报错提示 SparkSQL shuffle操作带 `org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output
SpringBoot 上传文件到linux服务器 异常java.io.FileNotFoundException: /tmp/tomcat.50898……解决方案
w36680130的博客
12-09 2769
SpringBoot 上传文件到linux服务器 异常java.io.FileNotFoundException: /tmp/tomcat.50898……解决方案
java.io.FileNotFoundException异常的问题
winnieFighting
02-06 2万+
这个异常抛出的两种情况： （1）拒绝访问 （2）系统找不到指定的路径 在构造一个File对象时，指定的文件路径是什么都可以，就算不存在也能够构造File对象。 但是现在你要对文件进行输入和输出操作的时候，也就是InputStream和OutputStream操作时，如果填写的路径不存在，那么就会报系统找不到指定路径，如果指定的是目录时，就会报拒绝访问异常。 我的问题出现的原因是所在的路径的文件不存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值