Flink-1.13.0源码研读日记（贰）—— 不同的文件系统是如何被支持的

VanciorH

于 2021-05-30 11:44:00 发布

阅读量408

点赞数 1

分类专栏： Flink 文章标签：大数据 java flink

本文链接：https://blog.youkuaiyun.com/VanciorH/article/details/116673259

版权

本文从Flink的配置参数出发，探讨了Flink如何支持不同的文件系统。通过源码分析，发现Flink在CheckpointingOptions中定义相关参数，FileSystemCheckpointStorage使用该参数构建FileSystem实例。接着，详细跟踪了文件系统的创建过程，涉及到FsCheckpointStorageAccess、AbstractFileSystem及其实现类。Flink利用Java的SPI机制，通过services.properties文件注册并加载支持的文件系统工厂类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于我关心的内容主要为Flink的调度、运行的核心组件，为了降低IDEA的检索压力，可以注释掉更多不需要的模块，减少打包内容，让我的小笔记本也能编译，具体可以见GitHub Commit。

因为在搭建集群的过程中需要使用一个分布式文件系统，突然好奇Flink是怎么支持不同的文件系统的。这个问题可以从Flink运行配置参数的state.savepoints.dir或者state.checkpoints.dir开始研究。

首先全局搜索state.checkpoints.dir，找到其定义在CheckpointingOptions.java中：
在这里插入图片描述
查找CHECKPOINT_DIRECTORY的使用，可以找到在FileSystemCheckpointStorage.java中使用该值来构建一个FileSystemCheckpointStorage：

找到最终执行的构造函数，checkpointDir最终被用来构造ExternalizedSnapshotLocation（在这个过程中String的

最低0.47元/天解锁文章