presto对orc文件和parquet文件的读取都进行了优化,那么本篇文章来分析一下都做了哪些优化
1- orc文件格式概述
每个orc文件都有一个文件footer,文件footer里存储了每个条带(script)的最大值最小值,可以用来过滤script。每个条带又有条带footer,具体作用未知。每个条带内部存储了行组的列存形式。
2- 读取流程
读取流程涉及以下几个读取器的构造:
HiveSplit->
Hive中split的构造。hive connector在构造split时,并不像上篇这个博客提到的,在一个bliock中会有很多script,然后根据过滤条件选择script,然后再构造split。而是再构造split时,直接使用一个block构造出一个split,这个split中包含了过滤条件,然后再扫描数据的时候,使用过滤条件。PageSource->
Presto源码结构,用于返回一个Page。- HivePageSourceProvider->
用于提供Hive Page数据的类。 - OrcP