SparkContext和SparkSession不能序列化分析，解决方法

最新推荐文章于 2023-09-20 23:18:23 发布

菜园子哇

最新推荐文章于 2023-09-20 23:18:23 发布

阅读量1.6k

点赞数 3

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/cyz52/article/details/103899969

版权

博客讨论了SparkContext和SparkSession由于设计原因不可被序列化的问题，导致的Task not serializable异常。提供了两种解决方法：一是避免在可序列化类中包含SparkContext；二是使用@transient注解。强调在编写代码时应注意避免executor中的方法和对象持有这些对象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkContext和SparkSession不能序列化分析，解决方法

报错信息

Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext
Serialization stack:
	- object not serializable (class: org.apache.spark.SparkContext, value: org.apache.spark.SparkContext@7364f68)
	- field (class: com