spark源码bug fix: Block broadcast_465 not found

最新推荐文章于 2024-07-22 15:29:20 发布

原创

最新推荐文章于 2024-07-22 15:29:20 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #big data

本文详细解析了Spark源码中遇到的Blockbroadcast_465notfound错误，通过问题描述和分析，分享了如何通过修改源码避免异常，以及可能的原因——重复删除block命令。最后总结了修复步骤和预防措施。

spark源码bug fix: Block broadcast_465 not found

前言
一、spark源码bug fix: Block broadcast_465 not found
二、问题描述
- 2.问题分析
总结

前言

使用spark

一、spark源码bug fix: Block broadcast_465 not found

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、问题描述

21/08/25 20:26:18 ERROR spark.TaskContextImpl: Error in TaskCompletionListener
java.lang.IllegalStateException: Block broadcast_465 not found
	at org.apache.spark.storage.BlockInfoManager$$anonfun$1.apply(BlockInfoManager.scala:288)
	at org.apache.spark.storage.BlockInfoManager$$anonfun$1.apply(BlockInfoManager.scala:288)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.storage.BlockInfoManager.unlock(BlockInfoManager.scala:287)