Presto介绍
Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景。
注意:虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、Oracle的代替品,也不能用来处理在线事务(OLTP)
Presto架构

Presto优缺点

Presto、Impala性能比较
https://blog.youkuaiyun.com/u012551524/article/details/79124532
测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等。
Presto优化之数据存储
- 合理设置分区
与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 - 使用列式存储
- Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好
- 使用压缩
数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。 </

Presto是一个开源的分布式SQL查询引擎,专为处理秒级查询而设计,支持从GB到PB的数据量。它不是替代传统数据库的解决方案,而是用于大数据场景的查询优化。文章对比了Presto与Impala的性能,尽管Impala在某些测试中表现略好,但Presto的数据源支持更广泛。此外,还分享了Presto在数据存储和查询SQL方面的优化技巧,如合理设置分区、使用列式存储和压缩、以及优化SQL语句等。
最低0.47元/天 解锁文章
2837

被折叠的 条评论
为什么被折叠?



