大数据分析篇之Presto

最新推荐文章于 2024-05-16 15:26:10 发布
最新推荐文章于 2024-05-16 15:26:10 发布
阅读量389 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据技术栈 文章标签： Presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhanggqianglovec/article/details/115676589
本文介绍了Presto在大数据分析中的应用，对比了Presto与Impala的性能和数据源支持，强调了Presto的优势在于其内存运算及跨数据源查询能力。同时，讨论了Presto的查询优化，如列存储ORC和Snappy压缩，并提到了其WebUI端口7080。最后，提供了学习资源链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一. 简介

GB/PB 秒级

OLAP
MOLAP: 多维联机分析处理（MOLAP）
ROLAP: 关系型联机分析处理（ROLAP)

MOLAP可选Kylin、Druid,
ROLAP可选Presto、impala等

Hive/Redis/Kafka

1. 与Impala的对比

性能:impala 性能更好
数据源支持: presto 更加丰富

2. 优缺势

  1. 内存运算

  2. 连接多个数据源，跨数据源连表查询

  3. 不适合链表查询，尽量避免join，可以用宽表解决

二. 核心

1. 优化

存储
列存储: ORC,比Parquet好
压缩: Snappy

查询

2. webui

7080

三. 其他

1. 学习

https://www.bilibili.com/video/BV1cE411179N?p=6&spm_id_from=pageDriver

大数据分析篇之Druid
GIS摆渡人
04-13 507
一. 简介 列式分布式，支持实时分析，PB级数据，毫秒级查询，数据实时处理 预计算预聚合 bitmap压缩算法 必须具备时间字段 1. 特点 2. 应用场景 多读写少 实时性要求高 数据质量不敏感 二. 核心 1. Druid 与Impala,Kylin,Presto,Impala,Spark SQL,ES的对比 2. 大数据分析框架选型 3. Druid架构原理 4. Nodes MiddleManager Nodes Historical Nodes Coordinator Nodes Overlo
Presto原理与代码实例讲解
最新发布
AI天才研究院
06-02 589
Presto原理与代码实例讲解 1.背景介绍 在当今大数据时代,数据分析和处理已经成为各行业的关键能力。传统的数据库系统难以满足现代数据处理的需求,因此出现了一系列新兴的大数据处理引擎。其中,Presto作为一款开源的大数据分布式SQL查询引擎,凭借其出色的查询性能和良好的扩展性,在业界获得了
大数据之Presto
向日葵的博客
11-23 2621
Presto前言一、Presto概念二、Presto架构三、特点3.1 优点3.2 缺点四、注意事项总结 前言 本文简单介绍了大数据中Presto的相关知识，包括Presto的基本概念、架构、特点以及使用Presto的注意事项 一、Presto概念   Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。   注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品，也不能用来处理在线事务（OL
大数据分析引擎之presto简介
枣泥馅的博客
06-28 1665
大数据分析引擎之presto简介 简介： presto是一个大数据分析引擎，不属于hadoop体系，他是基于内存的。他的集群模式是主从式的。 他可以与任何的大数据存储引擎做集成，集成的时候使用它的Connectors集成 从这里我们可以他可以和kafka、mysql、内存、hive来做集成 安装： 1.解压：tar -zxvf presto-server-0.217.tar.gz -C ~/training/ 2.创建etc目录，并包含以下配置文件 cd ~/training/presto-server-
大数据技术之-presto
我睡觉的时候不困
08-04 5368
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的替代品，也不能用来处理在线事务（OLTP）...
【大数据】Presto
张茂祯的博客
12-18 531
Presto介绍 介绍 Presto是由FaceBook开发的，是一个运行在多台服务器上的分布式查询引擎，本身并不存储数据，但是可以接入多种数据源（Hive、Oracle、Mysql、Kafka、Redis等），并且支持跨数据源的级联查询。 select * from a join b where a.id = b.id #其中表a可以来自Hive，表b可以来自Mysql 优势：（相对于Hive） Presto是一个低延迟高并发的内存计算引擎，相比Hive，执行效率要过很多。 Presto以分析师的需求
Presto
热门推荐
桃李不言下自成蹊
05-09 4万+
多数据源，支持SQL，自定义扩展Connector混合计算（同一种数据源的不同库 or表；将多个数据源的数据进行合并）低延迟，高并发，纯内存计算引擎，高性能。
京东云实践：Presto在大数据分析中的关键应用与架构优化
文章首先介绍了Presto的基本概念，它是一种基于标准SQL语法的查询引擎，支持处理GB到PB级的大数据量，具备良好的可扩展性和跨数据源查询能力，特别适合交互式的数据分析场景。京东在引入Presto时，对其进行了定制化...
大数据工具——Presto
麦当当的博客
05-16 2869
Presto是一款分布式SQL查询引擎, Presto可以独立提供计算分析操作, 不需要依赖于其他的计算引擎。
presto剖析
09-17
treasure data presto学习资料，presto剖析（ppt）
Presto？还是 Hive？ 你们知道大数据查询性能谁更强吗？
博文视点（北京）官方博客
09-02 5775
技术控们，你们知道大数据查询性能谁更强吗？ 经过对 Presto 和 Hive 的性能做了大量的对比测试，最终结果表明： Presto 的平均查询性能是 Hive 的 10 倍！ 由于 Presto 的数据源具有完全解耦、高性能，以及对 ANSI SQL 的支持等特性，使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。一、实时...
大数据产品研究 - Presto简介
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
01-08 3267
Presto是什么？ Presto是一个开源的分布式SQL查询引擎，它以集群的方式运行，采用MPP架构，用在交互式分析查询场景下，可以将多种不同数据量级（从GB到PB）的数据源组合起来进行统一计算。Presto本身只是一个查询引擎，它通过connector的方式完成外部数据源的接入；也就是说通过使用Presto提供的ANSI标准SQL，可以完成多种数据源的标准化计算工作。以下是Presto在数据栈中所处位置的图形化展示。 Presto是专为交互式分析而设计和编写的，其速度接近商业数据仓库的速度，可以
Presto分布式大数据查询引擎
进行中
06-25 1883
Presto是什么 Presto分布式大数据查询引擎，最主要的是支持跨数据库类型查询。可以快速高效的完成海量数据的查询，作为Hive和Pig的代替者，Presto不仅能访问HDFS，也能访问多种关系型数据库(如mysql)，它不是一个标准的数据库，不能用来处理在线事务 Presto支持的数据源类型 Mysql、Hive、Sql server、redis、kafka Pres...
presto kafka_阿里云交互式分析与Presto对比分析及使用注意事项
weixin_39769627的博客
10-18 272
阿里云交互式分析与Presto对比分析及使用注意事项本文由阿里巴巴耿江涛带来以“阿里云交互式分析与Presto对比分析及使用注意事项”为题的演讲。文章首先介绍了Presto以及它的应用场景、特点、架构和原理、数据模型、数据类型，并且以Presto数据查询作为实例。然后介绍了阿里云交互式分析，同时列举了它的优势和典型应用场景，对权限、数据类型、实例对象层级进行讲解，并且对交互式分析的两大场景进行实践...
Presto (三) --------- Presto 优化
在森林里麋了鹿
11-06 988
Presto 优化
impala刷新元数据
高矮
01-08 2827
hive新增表，impala查不到时，需要刷新元数据： INVALIDATE METADATA；
数据分析--积累--presto--一列转多行--数组分割展开
直到世界的尽头
05-25 5449
我们在做数据分析时，有时候需要使用join等作表连接，或者说 通过一些数据作关联。 但是 如果需要的数据 是存储的一列中使用逗号分割，或者存储在数组中，就不能很方便的进行表连接。 presto提供了很方便的语法，可以把列转成多行。 场景一 字符串 person表中 多个数据保存在pets使用逗号分割 如下： select name, pets from person 输出： name pets zzq summer,winter ly spring,autu
presto结合grouping、grouping set实现统计宽表
qq_36800511的博客
11-21 570
presto统计宽表
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Freedom3568

技术域不存在英雄主义，不进则退

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值