SPARK Parquet嵌套类型的向量化支持以及列索引(column index)

背景

本文基于Spark 3.3.0
列式存储Parquet文件越来越受到工业界的青睐，在delta以及Spark中应用广泛，具体的项目见:parquet-mr

分析

Parquet格式

关于parquet的格式存储以及读取，可以参考大数据列存标准格式 - Parquet,总结一下就是：

Parquet采用类似Protobuf的协议来描述数据的Schema,字段的描述有三种（逻辑上）：

required  有且仅有一次
optional 0或1次
repeated 0次或多次

具体到物理存储，就得有Repetition Level（对应repeated）,Definition Level(对应optional) ,required是不需要的，因为字段存在就有，不存在就没有。
其实这种很好理解，因为在Dremel/Parquet中，提出的是以树状形式来组织schema中的字段，举例子：

message AddressBook {
  required string owner;
  repeated string phoneNumber;
  repeated group contacts {
    required string name;
    optional string phoneNumber;
  }
}

对应到树形结构为：

              AddressBook
          /           |               \  
         V            V                V