spark源码bug fix: Block broadcast_465 not found

最新推荐文章于 2024-07-22 15:29:20 发布
原创 最新推荐文章于 2024-07-22 15:29:20 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #big data

本文详细解析了Spark源码中遇到的Blockbroadcast_465notfound错误，通过问题描述和分析，分享了如何通过修改源码避免异常，以及可能的原因——重复删除block命令。最后总结了修复步骤和预防措施。

spark源码bug fix: Block broadcast_465 not found

前言

使用spark

一、spark源码bug fix: Block broadcast_465 not found

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、问题描述

21/08/25 20:26:18 ERROR spark.TaskContextImpl: Error in TaskCompletionListener
java.lang.IllegalStateException: Block broadcast_465 not found
	at org.apache.spark.storage.BlockInfoManager$$anonfun$1.apply(BlockInfoManager.scala:288)
	at org.apache.spark.storage.BlockInfoManager$$anonfun$1.apply(BlockInfoManager.scala:288)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.storage.BlockInfoManager.unlock(BlockInfoManager.scala:287)
最低0.47元/天 解锁文章
spark学习-52-Spark的org.apache.spark.SparkException: Task not serializable
九师兄
12-06 1810
报错这个一般是org.apache.spark.SparkException: Task not serializable
org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [SERVICE_UNAVAILABLE/1/state
九师兄
02-13 3万+
windows下安装es报错;安装过程如下http://blog.youkuaiyun.com/qq_21383435/article/details/79275543 http://blog.youkuaiyun.com/qq_21383435/article/details/79281507 http://blog.youkuaiyun.com/qq_21383435/article/details/79312247相似问题【elasticsearch】block.ClusterBlockException: blocked by: SE
sparkStreaming写入elasticsearch报错Could not write all entries for bulk operation
zhangxiping
05-06 1960
背景 今天遇到一个问题，在运行sparkStreaming任务写ES，出现如下错误： 20/04/27 09:45:12 ERROR spark.TaskContextImpl: Error in TaskCompletionListener org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bu...
requirement failed: Block broadcast_487 is already present in the MemoryStore
Adnerly的专栏
06-05 653
场景： 以往正常执行的sparksql，今天在公司执行报如下错误： 第一次执行报错如下： Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1382 in stage 320.0 failed 4 times, most rece...
spark 广播变量broadcast
weixin_43839095的博客
07-22 1242
broadcast使用如下图，可以看到创建broadcast是val barr1 = sc.broadcast(arr1)，使用broadcast是barr1.value创建broadcast是使用的broadcastManager。
windows环境下IDEA运行spark程序出现的异常问题
philonyun的博客
05-19 3030
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
filebeat+kafka+SparkStreaming程序报错及解决办法
weixin_34326429的博客
07-01 568
17/07/01 03:07:21 WARN RandomBlockReplicationPolicy: Expecting 1 replicas with only 0 peer/s. 17/07/01 03:07:21 WARN BlockManager: Block input-0-1498849640800 replicated to only 0 peer(s) instead o...
spark udf 提示not serializable
huangrunxing的专栏
06-16 941
20/06/08 16:41:06 INFO memory.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 327.2 KB, free 912.0 MB) 20/06/08 16:41:06 INFO memory.MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 30.1 KB, free 912
解决：TypeError: __init__() got an unexpected keyword argument ‘context_module‘
qq_43733107的博客
07-13 4561
解决：TypeError: __init__() got an unexpected keyword argument 'context_module'
大规模数据处理中拒绝连接错误分析处理
大师兄你家猴跑啦的博客
07-04 4591
1、处理的数据有几百个G,把数据处理成按照手机号计算1万多个特征 ；2、数据处理环境：     spark-2.0.2;    --executor-memory 40g --total-executor-cores 120 --driver-memory 40g  3、报的错误org.apache.spark.shuffle.MetadataFetchFailedException: Missi...
Eclipse：java.lang.IllegalArgumentException异常解决笔记
ILIKE_BANANA的博客
06-08 1581
java.lang.IllegalArgumentException异常解决笔记 后台错误信息内容： 严重: Exception sending context initialized event to listener instance of class org.springframework.web.context.ContextLoaderListener java.lang.IllegalArgumentException at org.springframework.asm.ClassReade
Spark存储体系——块管理器BlockManager
LINBE_blazers的博客
04-25 2652
BlockManager运行在每个节点上（包括Driver和Executor），提供对本地或远端节点上的内存、磁盘及堆外内存中Block的管理。存储体系从狭义上来说指的就是BlockManager，从广义上来说，则包括整个Spark集群中的各个BlockManager、BlockInfoManager、DiskBlockManager、DiskStore、MemoryManager、Memory...
spark 2.1 TaskContext
houzhizhen的专栏
05-24 1561
object TaskContextobject TaskContext { /** * Return the currently active TaskContext. This can be called inside of * user functions to access contextual information about running tasks. */
Spark SQL External Data Sources JDBC简易实现
weixin_33935505的博客
01-20 97
在spark1.2版本中最令我期待的功能是External Data Sources，通过该API可以直接将External Data Sources注册成一个临时表，该表可以和已经存在的表等通过sql进行查询操作。External Data Sources API代码存放于org.apache.spark.sql包中。 具体的分析可参见OopsOutOfMemory的两篇精彩博文： http...
Resin 4 自毁 错误日志： java.lang.IllegalStateException: block Block 异常处理办法
图图不糊涂的博客
12-06 3197
[18-12-06 10:36:18.659] {PSP103617995a607} java.lang.IllegalStateException: block Block[Table[mnode:2,d:\Install\work\resin-pro-4.0.51\resin-data\app-0\distcache\mnode.db],e002,copy=false,load=false,...
Broadcast功能
qq_28001193的博客
03-09 6161
转自：https://www.kancloud.cn/kancloud/spark-internals/45238 顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表，那么 driver 可以先把这张表 copy 到这些节点，这样 task 就可以在本地查表了。如何实现一...
spark中的广播变量broadcast
热门推荐
隔壁老杨的专栏
02-19 3万+
本文是对spark中的广播变量broadcast的源码流程进行说明.
04/08 00:05:25 INFO MemoryStore: Block broadcast_7_piece0 stored as bytes in memory (estimated size 307.0 B, free 4.1 GiB) 25/04/08 00:05:25 INFO BlockManagerInfo: Added broadcast_7_piece0 in memory on node11:44487 (size: 307.0 B, free: 4.1 GiB) 25/04/08 00:05:26 INFO SparkContext: Created broadcast 7 from broadcast at Feature.scala:123 [ \ ]25/04/08 00:05:35 INFO BlockManagerInfo: Removed broadcast_2_piece0 on node11:44487 in memory (size: 32.9 KiB, free: 4.1 GiB) [ | ]25/04/08 00:05:35 INFO BlockManagerInfo: Removed broadcast_3_piece0 on node11:44487 in memory (size: 2.9 KiB, free: 4.1 GiB) 25/04/08 00:05:35 INFO BlockManagerInfo: Removed broadcast_5_piece0 on node11:44487 in memory (size: 32.9 KiB, free: 4.1 GiB) 25/04/08 00:05:35 INFO BlockManagerInfo: Removed broadcast_6_piece0 on node11:44487 in memory (size: 2.9 KiB, free: 4.1 GiB) 25/04/08 00:05:35 INFO BlockManagerInfo: Removed broadcast_0_piece0 on node11:44487 in memory (size: 32.9 KiB, free: 4.1 GiB) 25/04/08 00:05:35 INFO
最新发布
04-09
<think>好的，我现在需要帮用户分析Spark广播变量的存储与移除日志信息。首先，我得回忆一下Spark广播变量的基本机制。广播变量允许将只读变量缓存在每个工作节点上，避免重复发送数据，这对性能优化很重要。用户提到想分析相关的存储和移除日志，所以我得先确定这些日志的位置和内容。 接下来，存储机制方面，广播变量在Driver端创建后会通过Block Manager分发到各个Executor。这时候Driver的日志里可能会有关于广播变量创建和分发的记录。比如，当调用sc.broadcast()时，Driver会生成一个唯一的广播ID，并记录在日志中。同时，Executor在接收到广播数据时，应该也会有日志条目，比如在Block Manager中存储的细节。我需要确认这些日志的级别，通常INFO级别可能不够详细，可能需要调整到DEBUG级别来获取更多信息。 然后是移除机制。广播变量在不再被引用时会被自动移除，但具体什么时候触发呢？可能是在任务执行完毕后，或者依赖的RDD被销毁时。Driver和Executor的日志中应该会有相关的移除记录，比如释放资源的条目。用户可能需要检查这些日志来确认移除的时间和条件，避免内存泄漏。 接下来是日志分析的具体步骤。首先，用户需要启用更详细的日志级别，可能在spark-submit时配置--driver-java-options和--executor-java-options来设置log4j的级别为DEBUG。然后，在Driver日志中搜索Broadcast相关的条目，比如创建广播变量、存储到Block Manager的事件。Executor的日志里会有接收和缓存广播变量的记录，以及任务结束后移除的条目。 工具方面，可以使用grep或者ELK这样的日志分析工具来过滤关键字，如“Broadcast”、“Destroying broadcast”等。另外，Spark UI也可能提供一些可视化信息，比如Storage标签页里的广播变量状态，这对用户来说可能更直观。 可能遇到的问题包括日志信息过于分散，或者级别不够详细，需要调整配置。此外，用户可能需要检查是否有未正确释放的广播变量，这时候需要分析引用情况，比如是否调用了unpersist()方法。如果广播变量没有被移除，可能会导致内存占用过高，影响性能。 最后，用户可能需要优化广播变量的使用，比如及时手动释放不再需要的变量，或者调整序列化方式减少存储开销。这部分需要结合具体应用场景，可能需要进一步的问题来深入探讨。</think>### Spark广播变量存储与移除日志分析指南 #### 一、存储机制分析 1. **Driver端存储日志** - 广播变量创建时生成唯一ID：`INFO BlockManagerInfo: Added broadcast_0 in memory` - 数据分片存储记录：`DEBUG BlockManager: Put block broadcast_0_piece0` - 元数据存储位置：`/spark/blockmgr-xxx` 目录下可见具体存储文件[^1] 2. **Executor端接收日志** - 接收广播数据日志：`INFO BlockManager: Getting broadcast_0` - 数据校验记录：`DEBUG TorrentBroadcast: Reading broadcast variable 0 took 236 ms` #### 二、移除机制分析 1. **自动移除触发条件** - 任务执行完成时：`INFO ContextCleaner: Cleaned broadcast_0` - 引用计数归零时：`DEBUG BlockManager: Removing broadcast 0` - 内存压力触发：`WARN MemoryStore: Not enough space to cache broadcast_1` 2. **手动移除方法** ```scala val broadcastVar = sc.broadcast(data) // 使用后手动释放 broadcastVar.unpersist() // 强制删除 broadcastVar.destroy() ``` #### 三、日志分析步骤 1. **启用详细日志** ```bash spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j-debug.properties" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j-debug.properties" ``` 2. **关键日志模式匹配 ``` grep "Broadcast\|BlockManager\|MemoryStore" spark.log ``` 3. **生命周期跟踪示例 ``` 09:00:01 INFO TorrentBroadcast: Started reading broadcast variable 0 09:00:03 INFO BlockManager: Stored broadcast_0 (piece 0) 09:05:22 INFO ContextCleaner: Cleaned broadcast 0 ``` #### 四、常见问题诊断表 | 现象 | 可能原因 | 解决方案 | |------|--------|----------| | 广播变量未移除 | 强引用持有 | 检查代码中的变量引用 | | 存储时间过长 | 序列化问题 | 使用Kryo序列化 | | 内存不足警告 | 广播数据过大 | 优化数据结构 | #### 五、性能优化建议 1. 监控广播变量内存占用： ```scala val storageStatus = sc.getExecutorStorageStatus storageStatus.foreach { status => println(s"${status.blockManagerId} => ${status.memUsed}") } ``` 2. 使用压缩传输： ```scala spark.conf.set("spark.broadcast.compress", "true") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值