
presto
文章平均质量分 63
presto
Al leng
这个作者很懒,什么都没留下…
展开
-
Presto简介
Presto简介Presto概念Presto架构Presto优缺点Presto概念Presto是一个开源的分布式的SQL查询引擎,数据量支持GB到PB,主要用于处理秒级查询的场景。虽然Presto可以解析SQL,但它不是一个标准的数据库,不是MySQL、Oracle的替代品。主要包括下面几个组件:Server TypesPresto服务器有两种类型:协调器(Coordinator)和工作器(Worker)。以下部分说明了两者之间的区别。CoordinatorPresto协调器是负责解析语句原创 2021-01-04 20:17:51 · 590 阅读 · 2 评论 -
Presto优化
Presto优化Presto优化之数据存储Presto优化之查询SQLPresto优化之数据存储合理设置分区与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。使用列式存储Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。使用压缩数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压原创 2021-01-04 19:57:05 · 278 阅读 · 0 评论 -
presto内存
presto内存presto内存池为什么使用Reserved Pool内存呢?内存管理presto内存池Presto把整个内存划分成三个内存池,分别是System Pool ,Reserved Pool, General Pool。System Pool保留给系统使用的,默认为40%的内存空间留给系统使用。System Pool用于在机器之间传递数据,在内存中维护buffer等功能。Reserved Pool和General Pool 是用来分配query运行时内存的。其中大部分的query都是使用原创 2021-01-04 16:44:17 · 337 阅读 · 0 评论