针对spark任务,发布分发任务时出现的EOFException异常解决

博客详细描述了在使用Spark进行分布式计算时,因本地jar包版本与集群Spark版本不同而导致的通信错误。错误主要表现为java.io.EOFException,这在尝试读取任务描述时发生。文章强调了保持Spark版本一致性的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

18/11/28 17:15:23 ERROR Inbox: Ignoring error
java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:197)
at java.io.DataInputStream.readUTF(DataInputStream.java:609)
at java.io.DataInputStream.readUTF(DataInputStream.java:564)
at org.apache.spark.scheduler.TaskDescriptionKaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲deserializeStri…anonfun$receive1.applyOrElse(CoarseGrainedExecutorBackend.scala:96)atorg.apache.spark.rpc.netty.Inbox1.applyOrElse(CoarseGrainedExecutorBackend.scala:96) at org.apache.spark.rpc.netty.Inbox1.applyOrElse(CoarseGrainedExecutorBackend.scala:96)atorg.apache.spark.rpc.netty.Inboxanonfunanonfunanonfunprocess1.apply1.apply1.applymcVsp(Inbox.scala:117)atorg.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205)atorg.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101)atorg.apache.spark.rpc.netty.Dispatchersp(Inbox.scala:117) at org.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205) at org.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101) at org.apache.spark.rpc.netty.Dispatchersp(Inbox.scala:117)atorg.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205)atorg.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101)atorg.apache.spark.rpc.netty.DispatcherMessageLoop.run(Dispatcher.scala:221)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

spark的jar一定要和集群的spark版本相同,否则通信时就会出现问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值