青训营-Presto架构原理与优化介绍

最新推荐文章于 2024-09-11 09:15:00 发布
最新推荐文章于 2024-09-11 09:15:00 发布
阅读量218 收藏
点赞数
分类专栏： 青训营笔记-大数据 文章标签： 架构 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73426012/article/details/132866230
版权
本文探讨了大数据的发展背景，重点介绍了OLAP系统特别是Presto的概念、设计思想和基础原理，涵盖了多租户资源管理、任务调度、内存计算和多数据源联邦查询等关键机制，并提到了性能优化实践中的工具和技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

7.1 概述

1.大数据与OLAP的演进

什么是大数据？大数据=大规模的数据量？

关于大数据这里我们参考马丁希尔伯特的总结:大数据其实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。

image.png

Hadoop:基于廉价机器的存算分离的大规模分布式处理系统

1）谷歌在2003、2004年 发布Google File System论文、MapReduce论文。

2） 2008年，Hadoop成为apache顶级项目

➢OLAP(OnLine Analytical Processing)对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能(BI) 应用程序背后的技术。

➢OLAP VS MapReduce

1）MapReduce代表了抽象的物理执行模型，使用门槛较高

2）与Mapreduce Job相比，OL AP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。

OLAP核心概念：维度、度量

image.png

➢常见的OLAP引擎:

预计算引擎: Kylin, Druid

批式处理引擎: Hive, Spark

流式处理引擎: Flink

交互式处理引擎: Presto, Clickhouse, Doris

2.Presto设计思想：

Presto 最初是由Facebo研发的构建于HopHDFPP系统之上的PB级交互式分析引擎，其具有如下的特点:

1）多租户任务的管理 与调度

2）多数据源联邦查询

3）支持内存化计算

4）Pipeline式数据处理

image.png

有很多公司也基于Presto进行了二次开发:

Prestodb: github.com/prestodb/pr…

Trino: github.com/trinodb/tri…

Openlookeng: github.com/openlookeng…

3.小结

1）介绍了大数据与OLAP系统的演进

2）带大家初步认识了Presto,了解Presto相关设计理念

7.2 Presto基础原理和概念

1.基础概念的介绍

基础概念介绍-服务相关

Coordinator：解析SQL语句、生成执行计划、分发执行任务给Worker节点

Worker、执行Task处理数据、与其他Worker交互传输数据

image.png

基础概念介绍-数据源相关

➢Connector:一个Connector代表一 种数据源。可以认为Connector是由Presto提供 的适配多数据源的统一接口。

➢Catalog:管理元信息与实际数据的映射关系。

image.png

基础概念介绍-Query相关

➢Query:基于SQL parser后获得的执行计划

➢Stage:根据是否需要shuffle将Query拆分成不同的subplan,每一个subplan便是一个 stage

➢Fragment:基本等价于Stage,属于在不同阶段的称呼，在本门课程可以认为两者等价

➢Task:单个Worker节点上的最小资源管理单元:在一个节点上， -个Stage只有一个Task,一个Query可能有多个Task

➢Pipeline:Stage按照LocalExchange切分为若干Operator集合，每个Operator集合定义一个Pipeline.

➢Driver：Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator.

➢Split：输入数据描述(数据实体是Page),数量上和Driver一对应，不仅代表实际数据源split,也代表了不同stage间传输的数据。

➢Operator：最小的物理算子。

image.png

基础概念介绍-数据传输相关

➢Exchange & LocalExchange; Exchange:表示不同Stage间的数据传输，大多数意义下等价于Shufle

LocalExchange:Stage 内的rehash操作，常用于提高并行处理数据的能力(Task在Presto中只是最小的容器，而不是最小的执行单元)

LocalExchange的默认数值是16。

image.png

多租户下的任务调度-数据传输相关

Q；如何衡量某个任务某个Stage的真实并行度？

A：在不同pipeline下split(driver)的数目之和

image.png

image.png

2.核心组件架构介绍

Presto架构图

image.png

核心组件架构介绍-服务发现

Discovery Service:

1） Worker配置文件配置Discovery Service地址

2） Worker节点启动后会向Discovery Service注册

3） Coordiantor从Discovery Service获取Worker的地址

image.png

核心组件架构介绍-通信机制

➢通信机制 1） Presto Client I JDBC Client 与Server间通信：Http

2） Coordinator 与Worker间的通信：Thrift/ Http

3） Worker与Worker间的通信：Thrift/ Http

➢Http 1.1 VS Thrift

Thrift具有更好的数据编码能力，Http 1.1还不支持头部信息的压缩，Thrift 具有更好的数据压缩率

节点状态：

1）ACTIVE

2)INACTIVE

3)SHUTDOWN

SHUTDOWN状态的作用是什么？

➢Graceful shutdown（优雅的扩缩容）：

image.png

小结：

1）从服务、数据源、Query、数据传输四个角度，介绍了Presto相关的基础概念服务、数据源、Query、 数据传输包含哪些基本概念?如何衡量一个任务的并行度(Task 并不是最小的执行单元)

2）通过服务发现、通信机制、节点状态三方面介绍了Coordinator与Worker是如何协调和工作的

7.3 Presto重要机制

1.多租户资源管理

Case介绍

假设某个用户提交一个sql:

提交方式: Presto-cli

提交用户: zhangyanbing

提交SQL: select customer_type, avg(cost) as a from test_table group by customer_type order by a limit 10;

Resource Group

类似Yarn多级队列的资源管理方式

基于CPU、MEMORY、SQL执行数进行资源使用量限制

image.png

image.png

image.png

优点:轻量的Query级别的多级队列资源管理模式

缺点:存在一定滞后性，只会对Group 中正在运行的SQL进行判断

2.多租户下的任务调度

物理计划生成

提交SQL: select customer_type, avg(cost) as a from test_table group by customer_type order by a limit 10;

  1. Antlr4解析生成AST

2)转换成Logical Plan

3)按照是否存在Shuffle (Exchange) ，切分成不同的Stage (Fragment)

image.png

Stage调度

AllAtOnceExecutionPolicy-同时调度

PhasedExecutionPolicy-分阶段调度

➢PhasedExecutionPolicy:不代表每个stage都分开调度

典型的应用场景(join查询)

Build 端:右表构建用户join的hashtable

Probe 端:对用户左表数据进行探查，需要等待build端完成

Build 端构建hashtable端时，probe 端是一直在空跑的

image.png

调度策略：

AllAtOnceExecutionPolicy-延迟点，会存在任务空跑

PhasedExecutionPolicy-有一定延迟、节省部分资源

Task调度

task的数量如何确定？

Source :根据数据meta决定分配多少个节点

Fixed: hash partition count确定，如集群节点数量

Sink:汇聚结果，一台机器

Scaled:无分区限制，可拓展，如write数据

Coordinator_Only: 只需要coordinator参与

image.png

选择什么样的节点（调度方式有哪些）

➢HARD_ AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输

➢SOFT AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker

➢NO_ PREFERENCE:随机选取，常用于普通的纯计算Task

Split调度

Query A大SQL先提交

Query B小SQL后提交

是否应该等Query A执行完了再执行Query B?

FIFO顺序执行，绝对公平

优先级调度：快速响应

1）按照固定的时间片，轮训Split处理数据，处理1s,再重新选择一个Split执行

2） Split 间存在优先级

MultilevelSplitQueue

5个优先级level理论.上分配的时间占比为16:8:4:2:1 (2-based)

优势:

1）优先保证小Query快速执行

2）保障大Query存在固定比例的时间片，不会被完全饿死

3.内存计算

Pipeline化的数据处理

Pipeline(按LocalExchange拆分）：

Pipeline的引入更好的实现算子间的并行

语义上保证了每个Task内的数据流式处理

image.png

Back Pressure Mechanism

控制split生成流程

控制operator的执行

1） targetConcurrency auto-scale-out定时检查，如果OutputBuffers使用率低于0.5 (下游消费较快需要提高生产速度)，并发度+1

2） "sink.max buffer- size"写入buffer的大小控制"exchange.max buffer size"读取buffer的大小控制

达到最大值时Operator会进入阻塞状态

4.多数据源联邦查询

将各个数据源进行统一的抽象，最后由presto sever进行统一的物理执行

image.png

局限性：

1）元数据管理与映射（每个connector管理一套元数据服务）

2）谓词下推

3）数据源分片

小结：

展开介绍了如下的Presto重要机制:

1）多租户资源管理

2）多租户任务调度

3）内存计算

4）多数据源联邦查询

7.4 性能优化实践

1.常用性能分析工具

Grafana：埋点、系统指标如CPU、内存、网络等的可视化界面，时序化的数据显示

image.png

image.png

JAVA相关指令

Jstack查看Java线程栈信息，排查是否有死锁，或者异常线程存在

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集

JMAP & GC日志等等内存分析工具

image.png

image.png

线上问题排查工具

Arthas:Watch,Trace...

image.png

image.png

Flame Figure/火焰图

用于分析热点代码占用大量CPU，从而导致服务性能下降的情况。如下图，自底向上为调用关系。上层宽度越宽表示当前函数 CPU耗时越久，我们关注最宽的函数调用。

image.png

Presto UI

Query级别统计信息

Logical plan

Stage、Task 信息

Worker状态信息

image.png

3.字节内部优化实战

Presto原理与代码实例讲解
AI天才研究院
08-07 996
Presto原理与代码实例讲解 1.背景介绍 在当今的大数据时代,数据分析和查询已经成为企业和组织的关键任务。传统的数据库系统在处理大规模数据集时往往会遇到性能瓶颈,无法满足实时查询和分析的需求。为了解决这个问题,Facebook于2012年开源了Presto,一款分布式SQL查询引擎,旨在提
B站基于缓存优化 PRESTO 集群查询性能
DataFun_Hoh的博客
02-13 1143
当 Presto 去 Hive Metastore 查询的时候，如果想要访问 Alluxio 的数据时，比较简单的做法是将 Hive Metastore 里相应的 scheme 转换为 Alluxio 的 scheme，但这会带来的问题是对于其他的引擎（比如 spark），因为其本来就没有接入 Alluxio，会导致查询不可用。Dispatcher 是一套内部自研的服务，根据查询 HDFS 的数据量、目前引擎的负载情况等将用户提交的 query 路由到相应的引擎进行执行。此问题已经在社区中有了相应的修复。
Presto概述
qq_27639777的博客
06-22 711
文章目录基础架构Coordinator服务Worker服务Presto模型ConnectorCatalogSchemaTablePresto查询执行模型StatementQueryStageExchangeTaskDriverOperatorSplitPage 基础架构 Presto是Facebook开源的MPP架构的OLAP查询引擎，可对从数G到数P的大数据进行交互式的查询，查询性能是Hive的10倍以上。Presto查询引擎是一个Master-Slave的架构，其架构图如下： 由架构图可以看出，Pre
Presto架构
feizuiku0116的博客
11-05 1489
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。 Presto查询引擎是一个M-S的架构，由一个coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌在Coordinator节点中。Coordinato.
Presto 概念 及 架构
禧年
05-18 4703
文章目录:一、概念：1.1 Presto概念1.2 Presto应用场景1.3 Presto的架构组成部分：1.4 Presto 优点：Presto 缺点：二、Presto优化2.1数据存储2.2 查询SQL优化2.3 无缝替换Hive表2.4 建表格式的选择搭建部分不写了就。官网查看。 【转载注明出处，还望尊重原创 】 【作者水平有限，如有错误欢迎指正 .】 一、概念： Presto 是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。 1.1 Presto概念 P
presto基本原理和架构图 简析
拉丁解牛技术专栏
08-31 4192
一、体系结构        presto是facebook开源的查询分析引擎，在国内是京东用的比较溜和成熟。presto数据处理能力到达PB级别，支持查询数据源有hive、kafka、cassandra、redis、mongodb、sql server等，在工作应用当中，我们发现presto的查询性能比hive要高40%以上。presto的结构式master+slaver模式，具体组成如下： ...
2024年大数据最全Presto【基础 01】简介+架构+数据源+数据模型
2401_84184729的博客
05-02 150
Presto特定的数据源：Connector、Catalog、Schema 和 Table。1）Presto 的三层表结构。2）Presto 的存储单元。3）不同类型的Block。n. 连接器，连接头。
Presto架构原理
cblock1的博客
08-03 354
Presto是Facebook开源的查询分析引擎，在国内京东用的比较成熟。Presto数据处理能力到达PB级别，支持查询数据源有Hive、Kafka、Cassandra、Redis、Mongodb、SQL server等，在工作应用当中，Presto的查询性能比Hive要高40%以上。...
Presto（Trino）动态过滤与优化器
个人总结
03-03 3657
动态过滤 动态筛选优化通过避免读取将被联接条件过滤的数据，从而显着提高了具有选择性联接的查询的性能。 考虑以下查询，该查询捕获事实表store_sales与过滤后的维度表date_dim结合的常见模式： 从store_sales联接date_dim中选择count（*）ON store_sales.ss_sold_date_sk = date_dim.d_date_sk WHERE d_following_holiday ='Y’AND d_year = 2000; 如果没有动态过滤，Trino会将维表的谓
Presto 常用性能优化技巧
过往记忆大数据
03-02 3878
Presto 是一个用于分析的开源分布式 ANSI SQL 查询引擎，支持计算和存储的分离。性能对于一些分析查询尤其重要，因此 Presto 有许多设计特性来最大化 Presto 的速度，...
Presto在优步：千万亿字节规模的交互式查询
08-10
Presto在优步：千万亿字节规模的交互式查询
Presto架构及原理、安装及部署
weixin_33701564的博客
01-27 2059
2019独角兽企业重金招聘Python工程师标准>>> ...
01 presto 概述: 特性 优缺点 场景 架构
Pushkin.的博客
02-27 2108
Presto是一款开源的分布式并行计算(MPP)引擎，主要适用于大数据领域GB~PB量级数据源的秒级分析查询场景需求。 - Presto的产生是为了解决MapReduce模型太慢且不能通过BI等工具展现HDFS数据的问题 - Presto是一个计算引擎，它不存储数据，主要通过丰富的Connector,获取第三方的数据，并支持扩展
如何排查Trino常见报错问题
书忆江南的IT博客
07-03 4142
Trino权威指南》第12章及周边涉及知识，基于392版本的使用层面入门书，引擎创始人亲自编写：中文翻译版《》第12章及周边，基于330版本。（1）编译原理基础（SQL语法解析token、生成AST抽象语法树、将AST生成执行计划并优化覆盖的过程，如《ANTLR4权威指南》）、《数据库系统内幕》等计算机专业通用底层课程；（2）《Presto技术内幕》等深入底层原理的Trino源码级书籍或博客。（3）《》等大数据平台全貌入门书。
Presto 原理 & 调优 & 面试 & 实战全面升级版
wr_java的博客
04-18 987
1.特点Presto 引擎相较于其他引擎的特点正如文章标题描述的这样，多源、即席。多源就是它可以支持跨不同数据源的联邦查询，即席即实时计算，将要做的查询任务实时拉取到本地进行现场计算，然后返回计算结果。除此之外，对于引擎本身，它有几个值得关注的特点：多租户：它支持并发执行数百个内存、I/O 以及 CPU 密集型的负载查询，并支持集群规模扩展到上千个节点；联邦查询：它可以由开发者利用开放接口自定义开发针对不同数据源的连接器（Connector),从而支持跨多种不同数据源的联邦数据查询；
Trino Worker端执行task与读ORC文件源码链路流程
书忆江南的IT博客
01-19 3096
下述Worker源码调用链路基于Trino（原PrestoSQL）330版本： // 生产流程 TaskResource.createOrUpdateTask ->SqlTaskManager.updateTask ->SqlTask.updateTask ->SqlTaskExecution.addSource ->updateSources ->schedulePartitionedSource
Presto的介绍、使用和原理架构
迷雾总会解
06-15 9668
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
两种不同数据库的联合查询（presto）
吃素的哈士奇de博客
10-30 2585
presto一、 配置文件有哪些在哪config.propertiesjvm.configlauncher(启动)node.propertieslog.properties二、怎么启动presto呢三、关于不同数据库的注意点这些数据库配置文件都放在哪mysql的propertiesOracle的properties达梦DM的properties四、yanagishima,presto的前端程序程序放在哪了配置文件放哪了配置文件里的注意点启动 一、 配置文件有哪些在哪 /opt/presto/presto
Presto基础讲解
最新发布
hello.reader
09-11 1052
Presto 是一个高性能的分布式 SQL 查询引擎，最初由 Facebook 在 2012 年开发，旨在为大规模数据分析提供一个快速、灵活的解决方案。与传统的批处理引擎（如 Hadoop 的 MapReduce）不同，Presto 专注于交互式的实时查询，并且能够在各种数据源上执行 SQL 查询，支持从多个异构数据源进行高效的联合查询。这使得 Presto 成为了许多企业在数据分析和商业智能（BI）应用中的首选工具。
The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz"
01-17
这个错误是由于无法连接到本地主机的10248端口导致的。这个端口通常是kubelet进程监听的端口，用于健康检查。出现这个错误可能是由于kubelet进程没有正确启动或者配置错误导致的。 解决这个问题的方法是检查kubelet进程的状态和配置。你可以按照以下步骤进行操作： 1. 检查kubelet进程是否正在运行。你可以使用以下命令检查kubelet进程的状态： ```shell systemctl status kubelet ``` 如果kubelet进程没有运行，你可以使用以下命令启动它： ```shell systemctl start kubelet ``` 2. 检查kubelet的配置文件。你可以使用以下命令查看kubelet的配置文件路径： ```shell kubelet --kubeconfig /etc/kubernetes/kubelet.conf --config /var/lib/kubelet/config.yaml --bootstrap-kubeconfig /etc/kubernetes/bootstrap-kubelet.conf config view ``` 确保配置文件中的端口号和地址正确，并且与你的环境相匹配。 3. 检查网络连接。你可以使用以下命令检查是否可以连接到localhost的10248端口： ```shell curl -sSL http://localhost:10248/healthz ``` 如果无法连接，请确保端口没有被防火墙或其他网络配置阻止。 4. 检查docker的配置。有时候，kubelet进程依赖于docker进程。你可以按照以下步骤检查docker的配置： - 创建/etc/docker目录： ```shell sudo mkdir /etc/docker ``` - 编辑/etc/docker/daemon.json文件，并添加以下内容： ```json { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], "registry-mirrors": ["https://tdhp06eh.mirror.aliyuncs.com"] } ``` - 重启docker进程： ```shell systemctl restart docker ``` 请注意，以上步骤是一种常见的解决方法，但具体解决方法可能因环境而异。如果以上步骤无法解决问题，请提供更多的错误信息和环境配置，以便我们能够更好地帮助你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值