presto源码分析（hive orc读取）

最新推荐文章于 2023-09-06 02:29:52 发布
最新推荐文章于 2023-09-06 02:29:52 发布
阅读量1.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： presto 文章标签： 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_27545249/article/details/53375319
该博客聚焦于Presto源码中Hive ORC读取部分的分析，虽未给出具体内容，但可知围绕Presto对Hive ORC数据读取的源码展开，有助于深入了解Presto在处理Hive ORC数据时的内部机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[TOC]
这里写图片描述

Presto与Hive的优缺点比较
AI天才研究院
06-15 654
Hadoop作为大数据领域的重要基础设施,为大数据存储和分析提供了强大的支持。Hadoop生态圈包含了一系列开源工具和框架,如HDFS分布式文件系统、MapReduce分布式计算框架、Hive数据仓库工具、HBase列式数据库等。这些工具相互配合,构建了一个完整的大数据处理平台。
PrestoHive整合原理与代码实例讲解
AI天才研究院
05-30 1186
Presto-Hive整合原理与代码实例讲解 1.背景介绍 在大数据时代,数据分析和处理已经成为企业和组织的核心需求之一。Apache Hive作为建立在Hadoop之上的数据仓库工具,为结构化数据的查询和分析提供了强大的SQL支持。然而,随着数据量的不断增长和查询需求的复杂性提
presto对orc文件的读取
sinat_27545249的博客
08-19 3401
orc文件格式概述 读取流程presto对orc文件和parquet文件的读取都进行了优化，那么本篇文章来分析一下都做了哪些优化1 orc文件格式概述每个orc文件都有一个文件footer，文件footer里存储了每个条带(script)的最大值最小值，可以用来过滤script。每个条带又有条带footer，具体作用未知。每个条带内部存储了行组的列存形式。2 读取流程读取流程涉及以下几个读取器的构造
Java API 读取Hive Orc文件
Make progress step by step everyday.....
08-17 4651
Java API 读取Hive Orc文件 转载：http://lxw1234.com/archives/2015/08/462.htm Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。 在实际业务场景中，可能需要使用Java API，或者MapReduce读写Orc文件
Presto启动源码分析
sinat_27545249的博客
09-10 2105
启动主流程 加载module 加载插件 启动主流程加载module ImmutableList.Builder<Module> modules = ImmutableList.builder();//不是很明白加载这些module的作用 modules.add( new NodeModule(), new
presto源码分析(join中的谓词下推)
sinat_27545249的博客
12-04 3957
presto中的join 1 PredicatePushDown 举例分析 1 tpch connector 2 hive connector1 presto中的joinpreto在进行两表连接查询时，有时会下发谓词，有时不下发，所以对代码进行了跟踪1.1 PredicatePushDown在这个类中，visitJoin方法对join语句的谓词进行了分析，判断是否下推,代码如下：
Presto源码解析(LocalExecutationPlanner类)
sinat_27545249的博客
09-17 860
在visitScanFilterAndProject方法中，会使用代码生成产生cursorProcessor和pageProcessor，无法跟踪代码，所以把代码生成相关的代码注释掉，即可使用解释型产生hash的产生方法
Presto源码分析(hive-rcfile)
sinat_27545249的博客
10-21 1156
hive数据源构造 数据迭代读取 project操作1 hive数据源构造先来看hive record cursor的构造栈 从图中可以看到，读取hive的数据时，会构造一个ColumnBinaryHiveRecordCursor，这个应该是rcfile这类列式存储专有的读取格式，如果是sequencefile或者textfile，不是这个。具体是哪个呢，可以看看这个cursor的基类是Hiv
java词法分析_Presto SQL Parser源码分析
weixin_39637203的博客
11-23 842
Presto是一个高性能的分布式SQL查询引擎，应用于PB级数据的实时计算分析场景。Presto支持ANSI SQL， 用户可以直接使用SQL进行数据查询和计算。生成查询执行计算的主要流程如下图：从提交查询到执行计划生成包含了词法分析、语法分析、语义分析、逻辑执行计划生成、执行计划优化、分布式执行计划分生成等部分，Sql Parser主要提供了词法分析和语法分析功能，下面我们一起来探究一下Pres...
Presto源码解析--提交查询
csding11的博客
04-16 1399
本文的Presto是基于330版本 提交查询的步骤 presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。 Presto客户端对查询语句的提交主要分为以下3个步骤： 从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。 将得到的Sql语句组装成一个RESTful请求，发送给Co
presto UI 分析及相关源码分析
zhixingheyi_tian的博客
08-05 2081
CLUSTER OVERVIEW 访问coordinator 的 http://IP:PORT，首先呈现的是 cluster overview 九个参数窗口，唯独 “ RESERVED MEMORY ” 不太好理解，presto 相关文档又没有解释。 而且容易和presto的配置“resources.reserved-system-memory”相混，容易以为是同一个概念。 最后通...
facebook presto源码解读（part1）

10-09 8501
facebook presto源码解读（part1）边学变卖，把代码查看结果汇报给各位读者，如有不对请指正。 part1主要是介绍整体的代码结构和大致的运行流程。锅的代码是在2016年8月从官网下载的。整体结构如下:presto 客户端代码在presto-cli模块 但presto服务端代码不在presto-server，打开presto-server模块可以发现他采用maven的插件进行编译
Presto 之Hive数据源Batch Read功能代码走读
王飞活的博客
01-13 2591
在Presto中通过数据源的Connector读取数据的时候，返回来的是Page，一个Page中包含每列数据Block，Block中会包含多行数据。本文主要是通过Presto源码走读了解在Presto的Hive Connector中是如何通过Batch Read实现到Hive数据源取Page的时候进行多行数据读取功能的实现过程。
总结，开始看presto源码
个人总结
01-12 710
忙了一天，整理SQL建表语句和不支持的原因，好吧，Hbase崩了，没办法测试。动态过滤现在还不懂是什么，数据布置了新作业，让看presto原码，加油！好好搞起来。争取把最优先级的任务先完成: 测试结果对比，源码分析:连接器hudi, iceberg重点开发的代码 SPI部分，RESTAPI部分。 今天就先把connect or开发，REST的部分先整理了，明天好好理解下。 ...
Presto技术源码解析总结-一个SQL的奇幻之旅
LW_Moving_Bricks的博客
04-03 4902
Presto技术总结 1.环境准备 Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境 推荐hadoop2.2.0、hive1.2.1、mysql5.7、openssh-server&client、presto最新版本 presto本地debug环境搭建参考presto in idea 2.查询入口&流程 所有的查询首先打到Statement...
Presto源码解析(V) – SPI模块
AI天才研究院
09-06 1335
作者：禅与计算机程序设计艺术 1.简介 SPI (Service Provider Interface), 是JDK定义的一套标准的接口，它主要用于扩展功能，让开发者可以方便地替换或者增强系统的某些功能。Presto是一种开源的分布式SQL查询引擎，提供了基于SPI机制实现的插件化架构。本文将详细介绍P
Presto 源码分析 (1) - 一条 sql 在 presto 内如何被执行
Leo's Blog
01-23 2707
由于方法栈调用顺序较深, markdown 不好展示,故使用 yml 来展示. 详情请看 : 一条sql如何被presto执行.yml https://github.com/leoChaoGlut/presto-research/blob/master/presto-research-doc/%E4%B8%80%E6%9D%A1sql%E5%A6%82%E4%BD%95%E8%A2%ABp
presto代码解析一
sinat_27545249的博客
09-06 6268
1. TaskExecutor 一个TaskExecutor负责执行多个split的实际操作，首先会构造一个线程池，在线程池中预制多个线程。 public synchronized void start() { checkState(!closed, "TaskExecutor is closed"); for (int i = 0;
presto源码编译
一光年
01-18 1051
fork代码：https://github.com/trinodb/trino 下载代码到本地，如果下载慢，可以通过码云导入 进入代码目录，切换分支，git checkout 347 环境要求： Mac OS X or Linux Java 11.0.7+, 64-bit Docker 编译：mvn clean install -DskipTests 速度很慢，切换阿里云的maven源 <?xml version="1.0" encoding="UTF-8"?...
presto提升hive查询性能
最新发布
06-07
### Presto 在 Hive 查询中的性能优化方法 为了提升 Presto 在 Hive 查询中的性能，可以从硬件资源优化、查询语句优化以及存储层优化等多个方面入手。以下是一些最佳实践和调优方法： #### 1. 硬件资源优化 - **内存管理**：Presto 的性能很大程度上依赖于 JVM 堆内存的配置。可以通过调整 `query.max-memory` 和 `query.max-memory-per-node` 参数来控制每个查询的内存使用量[^2]。此外，Uber 在 GC 调优中提到，通过减少 Full GC 的频率可以显著提升集群稳定性[^1]。 - **磁盘 I/O 优化**：确保 Hive 表的数据存储在高性能的存储介质（如 SSD）上，以减少磁盘读写延迟。同时，合理设置 Presto 的 `hive.parquet predicate-pushdown-enabled` 参数，以减少不必要的数据扫描[^3]。 #### 2. 查询优化 - **选择合适的查询语句**：避免全表扫描，尽量使用带有过滤条件的查询语句。例如，利用分区列进行过滤可以显著减少需要扫描的数据量[^2]。 - **数据分区优化**：将 Hive 表按常用过滤条件（如日期、地区等）进行分区，这样 Presto 可以只加载相关的分区数据，从而提高查询效率[^3]。 - **谓词下推**：启用 Presto 的谓词下推功能（`hive.parquet predicate-pushdown-enabled=true`），让 Hive 在数据读取阶段就过滤掉不符合条件的数据，减少传输到 Presto 的数据量[^1]。 #### 3. 存储层优化 - **文件格式选择**：优先使用列式存储格式（如 Parquet 或 ORC），这些格式能够更好地支持压缩和谓词下推，从而提高查询性能。 - **文件大小与数量优化**：避免小文件问题，确保每个分区中的文件大小在 128MB 到 1GB 之间。过小的文件会导致过多的元数据加载，而过大的文件则会降低并行处理能力。 #### 4. 集群配置调优 - **并发控制**：通过调整 `task.concurrency` 参数来控制每个节点上的并发任务数，以充分利用硬件资源[^1]。 - **动态资源分配**：启用 Presto 的动态资源分配功能（`resource-groups.enabled=true`），根据查询负载动态调整资源分配，避免资源浪费。 ```python # 示例：Presto 配置文件中的关键参数 query.max-memory=50GB query.max-memory-per-node=10GB hive.parquet.predicate-pushdown-enabled=true task.concurrency=32 resource-groups.enabled=true ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值