Presto介绍与常用查询优化方法

最新推荐文章于 2025-03-29 17:39:03 发布
最新推荐文章于 2025-03-29 17:39:03 发布
阅读量1.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/beyond59241/article/details/84848196
本文介绍了Presto，一个针对大数据的低延迟查询引擎，性能优于Hive。Presto采用Master-Slave架构，通过内存计算、流水线等优化实现高速查询。文章分享了Presto的查询优化策略，包括数据存储、SQL优化和与Impala的对比，如合理设置分区、使用ORC格式、限制字段选择等，旨在提升查询性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Presto

Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。

2012年秋季开始开发，目前该项目已经在超过 1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比Hive要好上10倍多。2013年Facebook正式宣布开源Presto。

Presto架构

5401760-417956202202e389.png
image.png

Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。

Coordinator负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。

Worker节点负责实际执行查询任务。Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。

如果配置了Hive Connector，需要配置一个Hive MetaStore服务为Presto提供Hive元信息，Worker节点与HDFS交互读取数据。

Presto实现低延时查询的原理，我认为主要是下面几个关键点:

  1. 完全基于内存的并行计算
  2. 流水线
  3. 本地化计算
  4. 动态编译执行计划
  5. 小心使用内存和数据结构
  6. 类BlinkDB的近似查询
  7. GC控制

更多详情：https://blog.youkuaiyun.com/fly_time2012/article/details/52160140

Presto查询优化

数据存储

合理设置分区

与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

使用列式存储

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。

使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用snappy压缩

预先排序

对于已经排序的数据，在查询的数据过滤阶段，ORC格式支持跳过读取不必要的数据。比如对于经常需要过滤的字段可以预先排序。

SQL优化

  • 只选择使用必要的字段： 由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段
  • 过滤条件必须加上分区字段
  • Group By语句优化： 合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列， 减少GROUP BY语句后面的排序一句字段的数量能减少内存的使用.
  • Order by时使用Limit， 尽量避免ORDER BY： Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存
  • 使用近似聚合函数： 对于允许有少量误差的查询场景，使用这些函数对查询性能有大幅提升。比如使用approx_distinct() 函数比Count(distinct x)有大概2.3%的误差
  • 用regexp_like代替多个like语句： Presto查询优化器没有对多个like语句进行优化，使用regexp_like对性能有较大提升
  • 使用Join语句时将大表放在左边： Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。
  • 使用Rank函数代替row_number函数来获取Top N
  • UNION ALL 代替 UNION ：不用去重
  • 使用WITH语句： 查询语句非常复杂或者有多层嵌套的子查询，请试着用WITH语句将子查询分离出来

与Impala对比

Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎。

Impala性能稍领先于presto,但是presto在数据源支持上非常丰富，presto对SQL的支持上也更多一些。同时由于版本迭代的问题，有一段时间Impala对 hadoop某些社区版本并不支持。

欢迎关注 高广超的简书博客 与 收藏文章 ！
欢迎关注 头条号：互联网技术栈 ！

个人介绍：

高广超：多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。目前从事大数据相关研发与架构工作。

本文首发在 高广超的简书博客 转载请注明！

高广超
关注
Presto原理与代码实例讲解
AI天才研究院
08-07 1009
Presto原理与代码实例讲解 1.背景介绍 在当今的大数据时代,数据分析和查询已经成为企业和组织的关键任务。传统的数据库系统在处理大规模数据集时往往会遇到性能瓶颈,无法满足实时查询和分析的需求。为了解决这个问题,Facebook于2012年开源了Presto,一款分布式SQL查询引擎,旨在提
Presto代码实例：自定义函数，扩展查询能力
AI天才研究院
08-08 531
Presto代码实例：自定义函数，扩展查询能力 1. 背景介绍 1.1 Presto简介 Presto是由Facebook开源的一个分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编
presto实操array, hive不支持此类操作
weixin_42307036的博客
05-06 2206
presto array： reduce操作：依次作用于元素，最终生成一个值 transform操作，每个元素作操作，最终依旧是array 需求：实现数组的相邻元素做差，特殊的，首个元素做差之后为0 presto可以实现复杂的数组操作，但hive并不支持此类操作。 ** ** 参考链接： Presto–数组函数和运算符 presto 中的数组函数用法 ...
presto 中的数组函数用法
热门推荐
我爱娃娃菜的博客
01-04 5万+
Presto Array Functions and Operators
大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比
Ganymede的Hadoop世界
03-16 4157
大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比
Presto sql常用小技巧
weixin_42285610的博客
03-06 3718
array_position实现自定义排序 presto sql的查询结果期望按照固定顺序输出，可以使用array_position函数。 `select LaunchSource from table order by array_position(array['all','FTE','setting'],LaunchSource) ` 其中LaunchSource为排序依赖的字段，array内字符串可自定义，以此实现自定义排序 presto 计算当月天数的公式 select day_of_mont
Presto必知必会
DataFlow范式
09-07 2万+
1.      概述Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。 Presto通过使用分布式查询，可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据，那么你可能更希望借助于Hadoop和HDFS来完成这些数据的处理。作为Hive和Pig（Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询）的替代者，Presto
presto任务优化参数
最新发布
别人笑我太疯癫，我笑他人看不穿。
03-29 1149
0.142版本开始，presto跑任务提供了读取元数据上的优化，来提高效率，但是个人不建议用，因为如果操作的数据是空的，比如只有hive数据的物理路径被删除了，这个配置可能影响任务结果，而且在0.279版本修复了使用这个参数，对分区列聚合以及行字段元数据读取上的bug，bug导致查询结果错误，总之不建议轻易使用，知道有这么个配置当作逼不得已用的一个参数就行，用也在0.279之后用。presto最早的正式版本是0.8X，刚开始的时候是没有完整的集群资源管理组件的，所以对于大查询就临时搞了上面的配置。
10-5+Presto+在+FreeWheel+广告平台下的实践与优化.zip
03-18
标题中的“10-5+Presto+在+FreeWheel+广告平台下的实践与优化”揭示了这次讨论的主题，即Presto数据库查询引擎在FreeWheel广告平台的实际应用及性能提升策略。FreeWheel是一家领先的广告管理解决方案提供商，而...
Presto代码实例：使用ORDERBY，对结果排序
AI天才研究院
06-06 1297
Presto代码实例：使用ORDERBY，对结果排序 1.背景介绍 在大数据分析领域,Presto是一种开源的大规模并行处理(MPP)SQL查询引擎,专为交互式分析而设计。它支持标准的ANSI SQL,包括复杂的分析查询,并能够查询各种不同的数据源,如Hive、Cassa
Presto查询调度解析
qq_27639777的博客
08-11 2010
文章目录提交查询生成查询计划并启动调度器查询调度过程stage调度策略创建stage调度器Source Stage调度可扩展分布式写出Stage调度输入都为远程数据源的Fixed/Single Stage调度输入包含本地数据源的Fixed Stage调度 Presto将查询拆分成多个且有树状层级关系的Stage，实际就是将整个SQL处理过程拆分成多个具有各自功能的执行阶段。Presto将查询请求解析成各个执行阶段后，便会将各个阶段分配到各个计算节点中执行，这个分配的过程实际是基于Stage进行的，不同的St
深入理解Presto(2) ：Presto查询执行过程
马云雷的专栏
02-26 1万+
Presto查询执行过程 Presto包含三类角色，coordinator,discovery,worker。coordinator负责query的解析和调度。discovery负责集群的心跳和角色管理。worker负责执行计算。 presto-cli提交的查询，实际上是一个http POST请求。查询请求发送到coordinator后，经过词法解析和语法解析，生成抽象语法树，描述查询的执...
【presto】presto 0.269版本支持查询hive视图功能
Mrerlou的博客
01-13 2034
前言 presto 是不支持查询HIVE 视图的，因为presto 官方认为HQL 和 SQL 通常具有不同的语义（类型强制规则、函数行为、空值处理）。可能会导致两个引擎之间的查询结果不同。 但是我们这里只是简单支持将视图里面的sql内容解析出来，然后进行查询。也参考了网上很多的实现案例，因为新版本代码相较老版本代码还是有部分改动，所以无法照搬。还是需要整理并调试下。 具体代码 参见：https://gitee.com/second-floor/presto 参考文章: https://github.com
使用Presto SQL一些常见问题总结
weixin_33923762的博客
03-08 9936
查询速度慢, 如何优化? 解决方法1: 避免单节点处理 虽然Presto是分布式查询引擎, 但是一些操作是必须在单节点中处理的. 例如: count(distinct x) 考虑使用approx_distinct(x)代替 但是需要注意这个函数有个大约在2.3%的标准误差, 如果需要精确统计的情况, 请绕道. UNION UN...
presto中常见字符串函数操作
星空的风fly
09-05 5万+
1、字符串截取substr presto是这样用的： substr(string,start,length)→ varchar 如：select substr('1599319787151',1,10) substr(string, start) → varchar 如：select substr('1599319787151',1) 而hive中：substr和substring都可以使用 2、字符串首次出现位置position（下标从1开始的） presto...
Presto性能调优的五大技巧
华为云官方博客
07-22 8707
Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。
数据仓库(六)---分布式SQL查询引擎---presto介绍
直到世界的尽头
02-23 6549
我们在之前的文章中已经学习了数据仓库hive，如果要对数据仓库进行交互查询，则需要交互查询的引擎用于提高查询效率。本章介绍presto。 简介 Presto是一个开源的分布式SQL查询引擎，适用于实时交互式分析查询，支持海量的数据；主要是为了解决商业数据仓库的交互分析，和处理速度低下的问题。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（...
presto常用命令
qq_25073261的博客
10-22 3918
presto安装 https://blog.youkuaiyun.com/qq_25073261/article/details/107402176 Presto常用语句 https://blog.youkuaiyun.com/lnho2015/article/details/51428782/ bin/launcher start 后台运行 bin/launcher run 前台运行 1.查询 从0或多个表获取数据行 [ WITH with_query [, ...] ] SELECT [ ALL | DISTINCT ] se
spark常用函数与presto的差异
01-15
### Spark 常用函数与 Presto 函数的区别及各自特点 #### 数据处理能力对比 Spark 支持多种数据处理任务，包括批处理、流处理和机器学习，具有易于使用的 API 和丰富的生态系统[^2]。相比之下，Presto 更专注于交互式查询和 BI 类型的任务，在这类场景下表现出更高的效率[^1]。 #### SQL 语法支持程度 Presto 支持的标准 SQL 功能较为有限，尤其对于复杂的 SQL 查询（如嵌套子查询或高级聚合操作），可能会遇到不兼容的情况。然而，这并不意味着 Presto 不具备强大的查询功能；相反，它针对特定应用场景进行了优化，能够快速执行简单到中等复杂度的查询语句。 #### 内置函数库差异 - 在 Spark 中可以使用 `initcap` 将单词首字母大写转换，而在 Presto 则提供了类似的 `upper` 或者 `lower` 来改变整个字符串大小写的函数。 - **日期时间操作** - Spark 提供了诸如 `date_add`, `datediff` 这样的实用工具来进行日期运算； - Presto 同样拥有强大而灵活的时间戳处理方式，比如通过 `from_iso8601_timestamp()` 解析 ISO8601 时间格式，并且可以直接利用标准 SQL 的 `DATE_ADD` 函数实现相同的功能[^3]。 - 双方都实现了完整的窗口函数集，允许用户定义分区、排序以及框架范围内的计算逻辑。不过具体表达形式上会存在细微差别，例如在指定窗口边界时所采用的关键字有所不同。 ```sql -- Spark SQL 窗口函数例子 SELECT id, value, SUM(value) OVER (PARTITION BY category ORDER BY timestamp ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) as cumulative_sum FROM table_name; -- Presto SQL 窗口函数例子 SELECT id, value, sum(value) over(partition by category order by ts rows between unbounded preceding and current row) AS cumsum FROM mytable; ``` #### 性能考量 当涉及到大规模数据分析时，特别是在分布式环境中运行长时间运行的大规模 ETL 流程或是训练模型的情况下，Spark 显示出了更好的扩展性和稳定性。而对于那些更关注实时响应的小批量读取请求，则可能是 Presto 发挥优势的地方。 #### 生态系统集成 由于 Spark 是一个通用的数据处理平台，因此其周边生态更加完善，涵盖了从数据摄取到可视化的各个环节。这意味着开发者可以在同一个平台上完成更多种类的工作负载而不必切换环境。另一方面，虽然 Presto 自身也不断发展壮大着自己的社区和支持体系，但在某些领域内仍不及前者成熟。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值