Spark 整合springboot问题整合

最新推荐文章于 2025-06-21 15:32:40 发布

原创最新推荐文章于 2025-06-21 15:32:40 发布 · 3.4k 阅读

0 ·

CC 4.0 BY-SA版权

spark springboot 专栏收录该内容

1 篇文章

订阅专栏

博客主要讲述了Spark开发中的两个问题。一是netty包冲突，common包与Spark自带的netty冲突，需删掉其他包；二是Spring Boot提交任务到Spark服务器时，会出现jar包找不到的情况，原因可能是服务器上包缺失，需添加缺失的jar包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.netty包冲突 common包跟spark自带的netty冲突需要删掉其他的包

java.lang.AbstractMethodError: org.apache.spark.network.protocol.MessageWithHeader.touch(Ljava/lang/Object;)Lio/netty/util/ReferenceCounted;
at io.netty.util.ReferenceCountUtil.touch(ReferenceCountUtil.java:77)
at io.netty.channel.DefaultChannelPipeline.touch(DefaultChannelPipeline.java:116)
at io.netty.channel.AbstractChannelHandlerContext.write(AbstractChannelHandlerContext.java:810)
at io.netty.channel.AbstractChannelHandlerContext.write(AbstractChannelHandlerContext.java:723)
at io.netty.handler.codec.MessageToMessageEncoder.write(MessageToMessageEncoder.java:111)
at io.netty.channel.AbstractChannelHandlerContext.invokeWrite0(AbstractChannelHandlerContext.java:738)

这个为spark 下netty包