【Flink架构】关于FLink BLOB的组织架构：FLIP-19: Improved BLOB storage architecture：官网解读

本文链接：https://blog.youkuaiyun.com/hiliang521/article/details/137083443

一. BlobServer架构

BlobServer是jobmanager的组件，是一个用来管理二进制大文件的服务，比如保存用户上传的jar文件，该服务会将其写到磁盘上。还有一些相关的类，如BlobCache，用于TaskManager向JobManager下载用户的jar文件。

如下blob-store-architecture：
在这里插入图片描述

1.BlobClient

提供上传和下载的接口

与BlobServer进行通讯

2. BlobServer

提供了基于jobId和BlobKey进行文件上传和下载的方法；

本地、HA 分布式文件系统的读写：基于<path>/<jobId>/<BlobKey>目录结构，进行HA恢复中，下载分布式系统中的文件到本地文件系统中；

负责本地和HA系统的清理工作

先存到本地，然后（如有需要）上传到HA（可能并行进行，确认之前等待两者完成）

文件下载只能通过本地文件系统中

恢复时，从HA下载所需文件到本地，并负责清理此路径下所有问题。

3. BlobCache

提供BlobServer文件（基于jobId和BlobKey）的缓存

提供（基于<path>/<jobId>/<BlobKey>目录结构）本地文件的读写权限

HA store的读权限

能够从HA store or BlobServer下载文件

负责清除本地文件

4. LibraryCacheManager

桥接task的classloader和BlobCache中缓存的库BLOB（即 jar 文件），其registerJob,registerTask会构建并缓存job，task运行需要的classloader。

二、BLOB的生命周期

BlobCache 对其所有 BLOB 进行引用计数，并在 “blob.retention.interval” 秒后开始删除未被引用的文件。每个子目录与其各自的 BLOB 一起进行引用计数，并将以类似的方式进行删除。请注意，BlobCache 目前没有关于作业进入最终状态的信息，因此只能依靠引用计数来删除作业的 BLOB。

在 TaskManager 关闭时，我们可以清理子目录 <jobId>中的任何剩