针对spark任务，发布分发任务时出现的EOFException异常解决

最新推荐文章于 2023-08-07 15:11:21 发布

原创最新推荐文章于 2023-08-07 15:11:21 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #机器学习 #EOFException #任务

异常处理专栏收录该内容

3 篇文章

订阅专栏

博客详细描述了在使用Spark进行分布式计算时，因本地jar包版本与集群Spark版本不同而导致的通信错误。错误主要表现为java.io.EOFException，这在尝试读取任务描述时发生。文章强调了保持Spark版本一致性的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

18/11/28 17:15:23 ERROR Inbox: Ignoring error
java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:197)
at java.io.DataInputStream.readUTF(DataInputStream.java:609)
at java.io.DataInputStream.readUTF(DataInputStream.java:564)
at org.apache.spark.scheduler.TaskDescription $KaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲deserializeStri\dots$ anonfun$receive $1 . a p p l y O r E l s e (C o a r s e G r a i n e d E x e c u t o r B a c k e n d . s c a l a : 96) a t o r g . a p a c h e . s p a r k . r p c . n e t t y . I n b o x$ $a n o n f u n$ process $1 . a p p l y$ mcV $s p (I n b o x . s c a l a : 117) a t o r g . a p a c h e . s p a r k . r p c . n e t t y . I n b o x . s a f e l y C a l l (I n b o x . s c a l a : 205) a t o r g . a p a c h e . s p a r k . r p c . n e t t y . I n b o x . p r o c e s s (I n b o x . s c a l a : 101) a t o r g . a p a c h e . s p a r k . r p c . n e t t y . D i s p a t c h e r$ MessageLoop.run(Dispatcher.scala:221)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)