presto对orc文件的读取

本文详细探讨了Presto对ORC文件的读取优化,包括orc文件格式概述和读取流程。在读取流程中,介绍了从HiveSplit的构造到OrcRecordReader的创建,以及在构造过程中如何利用文件footer的统计信息进行条带过滤,提高数据读取效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

presto对orc文件和parquet文件的读取都进行了优化,那么本篇文章来分析一下都做了哪些优化

1- orc文件格式概述

这里写图片描述

每个orc文件都有一个文件footer,文件footer里存储了每个条带(script)的最大值最小值,可以用来过滤script。每个条带又有条带footer,具体作用未知。每个条带内部存储了行组的列存形式。

2- 读取流程

读取流程涉及以下几个读取器的构造:

  • HiveSplit->
    Hive中split的构造。hive connector在构造split时,并不像上篇这个博客提到的,在一个bliock中会有很多script,然后根据过滤条件选择script,然后再构造split。而是再构造split时,直接使用一个block构造出一个split,这个split中包含了过滤条件,然后再扫描数据的时候,使用过滤条件。

  • PageSource->
    Presto源码结构,用于返回一个Page。

  • HivePageSourceProvider->
    用于提供Hive Page数据的类。
  • OrcP
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值