spark学习-52-Spark的org.apache.spark.SparkException: Task not serializable

最新推荐文章于 2024-02-03 08:06:44 发布

九师兄

最新推荐文章于 2024-02-03 08:06:44 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark task 序列化

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/78735686

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

当遇到`org.apache.spark.SparkException: Task not serializable`错误时，通常是由于类未实现序列化导致。博客主要介绍了该问题及其解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.概述

报错这个一般是org.apache.spark.SparkException: Task not serializable

17/12/06 14:20:10 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 28.4 KB, free 872.6 MB)
17/12/06 14:20:10 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.1.161:51006 (size: 28.4 KB, free: 873.0 MB)
17/12/06 14:20:10 INFO SparkContext: Created broadcast 0 from newAPIHadoopRDD at SparkOnHbaseSecond.java:92
Exception in thread "main" org.apache.spark.SparkException: Task not serializable
	at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)
	at org.apache.spark.util.ClosureCleaner$

了解本专栏