1.概述
因为flink框架读压缩文件支持的格式如下,没有LZO压缩格式,所以需要在源码的基础上做一点添加。这里只是提供一下思路,具体的代码细节还需要自己去敲。

2. 具体实现

首先,flink内部读压缩文件,以文件后缀名为key,以压缩类型工厂对象为value组成的Map来 保存 不同的压缩文件对应着不同的解压工厂对象的映射关系。
因为flink框架读压缩文件支持的格式如下,没有LZO压缩格式,所以需要在源码的基础上做一点添加。这里只是提供一下思路,具体的代码细节还需要自己去敲。


首先,flink内部读压缩文件,以文件后缀名为key,以压缩类型工厂对象为value组成的Map来 保存 不同的压缩文件对应着不同的解压工厂对象的映射关系。
1119
1万+
696

被折叠的 条评论
为什么被折叠?