Spark BlockManager

最新推荐文章于 2024-06-07 20:24:47 发布

donger__chen

最新推荐文章于 2024-06-07 20:24:47 发布

阅读量267

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark原理 BlockManager

本文链接：https://blog.youkuaiyun.com/donger__chen/article/details/96321251

spark 专栏收录该内容

20 篇文章

订阅专栏

本文介绍了Spark中的BlockManager组件，它是负责数据管理的核心部分。每个节点上的BlockManager与Driver中的BlockManagerMaster协同工作，用于数据的缓存和读取。文章详细解释了BlockManagerMaster包含的DiskStore、MemoryStore、BlockManagerWorker和ConnectionManager等组件的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BlockManager：spark底层负责数据管理的组件。

每一个节点上都有BlockManager，而Driver有BlockManagerMaster（Driver有DAGScheduler，DAGScheduler有BlockManagerMaster，BlockManagerMaster内有BlockManagerInfo，BlockManagerInfo内有BlockStatus），BlockManagerMaster负责对各个节点上的BlockManagerMaster内部管理的数据进行维护，如Block的增删改操作，都会在这里维护元数据的变更。每个BlockManager创建完之后，会向BlockManagerMaster进行注册，此时BlockManagerMaster会为其创建对应的BlockManagerInfo。

BlockManagerMaster包含四个主要的组件：DiskStore、MemoryStore、BlockManagerWorker、ConnectionManager

1.DiskStore负责对磁盘中的数据进行读写;

2.MemoryStore负责对内存中的数据进行读写;

3.ConnectionManager负责建立远程BlockManager的连接;

4.BlockManagerWorker负责对远程其它节点的BlockManager进行读写。

可将DiskStore、MemoryStore看为本地的操作，而将ConnectionManager、BlockManagerWorker作为远程操作。

从BlockManager读取数据时，如果本地有数据，就使用DiskStore或MemoryStore从本地的磁盘或内存中读取所需的数据，如果本地没数据时，通过ConnectionManager连接其它BlockManager，使用BlockManagerWorker从远程的BlockManager中进行数据读取。