BlockManager原理解析

关注

原创最新推荐文章于 2026-03-11 06:54:15 发布 1k 阅读 AI 写同款· GEO 优化 ›

Spark Shuffle源码分析系列之MapOutputTracker MapOutputTracker是spark环境的主要组件之一，其功能有三方面，首先DAGScheduler使用MapOutputTrackerMaster来管理各个ShuffleMapTask的输出数据[MapStatus]，另外根据各ShuffleMapTask结果的统计信息来进行尽可能的本地化Scheduler；其次ShuffleMapStage使用MapOutputTrackerMaster来判断是否要进行ShuffleMapTask的计算；最后ShuffleReduce任务用来获取从哪些exec. 阅读详情

这里写图片描述
一、BlockManager运行实例观察

从Application启动的角度来观察BlockManager；

1，在Application启动时会在SparkEnv中注册BlockManagerMaster以及MapOutputTracker，其中

a) BlockManagerMaster：对整个集群的Block数据进行管理的；

b) MapOutputTracker:跟踪所有mapper的输出的；

2，BlockManagerMasterEndpoint本身是一个消息体，会负责通过远程消息通信的方式去管理所有节点的BlockManager；

3，每启动一个ExecutorBackend都会实例化BlockManager并通过远程通讯的方式注册给BlockManagerMaster；实质上是Executor中的BlockManager在启动的时候注册给了Driver上的BlockManagerMasterEndpoint；

4，MemoryStore是BlockManager中专门负责内存数据存储和读写的类；

5，DiskStore是BlockManager中专门负责基于磁盘的数据存储和读写的类；

6，DiskBlockManager：管理LogicBlock与Disk上的Physical Block之间的映射关系并负责磁盘的文件的创建、读写等；

从Job运行的角度来观察BlockManager；

1，首先通过MemoryStore才存储广播变量；

2，在Driver中是通过BlockManagerInfo来管理集群中每个ExecutorBackend中BlockManager中的元数据信息的；

3，当改变具体的ExecutorBackend上的Block信息后就必须发消息给Dirver中的BlockManagerMaster来更新相应的BlockManageInfo；

4，当执行第二个Stage的时候，第二个Stage会向Dirver中的MapOutputTrackerMasterEndpoint发消息请求上一个Stage中相应的输出，此时MapOutputTrackerMaster会把上一个Stage的输出数据的元信息发送当前请求的Stage；

相应的日志信息：

 16/02/14 20:47:15 INFO Spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to Worker3:45965

16/02/14 20:47:15 INFO spark.MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 218 bytes

16/02/14 20:47:15 INFO storage.BlockManagerInfo: Added broadcast_2_piece0 in memory on Worker4:46458 (size: 22.6 KB, free: 2.7 GB)

16/02/14 20:47:15 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to Worker4:57697