分布式查询 presto 入门安装使用

最新推荐文章于 2024-06-11 18:58:27 发布
原创 最新推荐文章于 2024-06-11 18:58:27 发布 · 309 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

为提高数据分析效率，本文介绍了一款由Facebook开源的分布式内存计算框架Presto。相较于依赖MapReduce的Hive，Presto直接在内存中进行计算，大幅提升了查询速度。它支持标准SQL语法，便于SQL开发者快速上手。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[url]http://my.oschina.net/chengxiaoyuan/blog/700263[/url]
为了分析海量数据，需要寻找一款分布式计算的开源项目，以前用的比较多的是hive，但是由于hive任务最终会被解析成MR任务，MR从硬盘读取数据并把中间结果写进硬盘，速度很慢，所以要寻找一款基于内存计算的开源项目，presto是Facebook开源的，基于内存的分布式计算框架。

Presto优点

1. 基于标准的ANSI SQL，有sql基础的都能快速使用

2. 安装部署简单

3. 基于内存计算，不要依赖MR，速度比hive快很多，。

[size=x-large][color=red]详细看原文[/color][/size]
ClickHouse与Presto对比：OLAP引擎选型指南
AI天才研究院
05-03 921
在当今的数据驱动时代，OLAP（联机分析处理）技术对于企业的数据分析和决策支持至关重要。ClickHouse和Presto作为两款备受关注的OLAP引擎，它们各自具有独特的特点和优势。本指南的目的是深入对比ClickHouse和Presto，分析它们在不同场景下的适用性，帮助用户在进行OLAP引擎选型时做出更明智的决策。本指南的范围涵盖了这两款引擎的核心概念、技术原理、实际应用、开发工具等多个方面。
解析大数据领域分布式存储的分布式计算集成
最新发布
AI天才研究院
05-19 741
随着数据规模进入ZB级别，传统集中式系统已无法满足大数据处理的性能、扩展性和容错需求。分布式存储与分布式计算作为大数据技术栈的两大核心支柱，其高效集成成为释放数据价值的关键。本文聚焦二者集成的技术架构、核心机制和工程实践，涵盖批处理、流处理场景下的协同策略，以及数据一致性、负载均衡、容错恢复等核心问题。核心概念：定义分布式存储与计算的核心模型及集成范式架构解析：通过示意图和流程图展示典型集成架构算法与模型：解析任务调度、数据分片等关键算法的数学原理实战案例。
从 0 到 1 学习 Presto，这一篇就够了
大数据梦想家
03-14 1万+
前言         Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。本期内容，我就从一个初学者的角度，带着大家从 0 到 1 学习 Presto，希望大家能够有所收获！ Presto简介 1. Presto概念         Presto是 Facebook 推出的一个开源的分布式SQL查询引擎，
Presto入门介绍
热门推荐
cakexuexi的专栏
06-26 4万+
1，Presto基本认识1.1 定义Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但是对于OLTP场景，并不是Presto所擅长，所以不要把Presto当做数据库来使用。和大家熟悉的Mysql相比：首先Mysql是一个数据库，具有存储和计算分析能力，而Presto只有计算分析...
深入理解Presto(1) : Presto的架构
马云雷的专栏
10-12 8571
简介Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点： 清晰的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。 简单的数据结构，列式存储，逻辑行
从 0 到 1 学习 Presto，这一篇就够了_从0到1，学会presto
2401_84166811的博客
04-27 1625
在目录下添加配置文件,并填入如下内容。
【Presto基础】01 基础知识
baidu_34170531的博客
07-09 269
目录 1. 概述 1.1. Trino 1.1.1. 概述 2. 数据类型 2.1. 日期类型 2.1.1. 类型 2.1.2. 日期函数 3. 开发 3.1. 类型 3.1.1. 原生容器类型（Native container type） 3.2. 自定义函数 3.2.1. 注解 3.2.2. 自定义标量函数 1. 概述 参考: 深入浅出Presto：PB级OLAP引擎–知乎 Trino学习总结–SparkSQL比较 1.1. Trino 1.1.1
Presto入门搭建
善皮之的博客
08-31 1088
Presto简介 presto是一个分布式SQL查询引擎，用于查询分布在一个或多个异构数据源上的大型数据集。 更多详细的介绍请移步去Presto官网 Presto的安装 准备 1.检查本机的jdk的版本，Presto要求jdk 1.8 151以上的版本 2.下载Presto的安装包，下载地址presto-server-0.224.tar.gz 3.有一个Presto的客户端，下载地址presto...
Presto JDBC 快速入门演示指南
资源摘要信息:"Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，即能够进行快速的大数据查询。Presto专门用于处理大型数据集，与Hadoop或Spark等大数据处理框架相比，Presto的优势在于其能够支持实时...
分布式任务调度：XXL-Job入门介绍实战
EverythingAtOnce的博客
03-01 1372
XXL-Job 是一款开源的分布式任务调度平台，由阿里巴巴开发团队提供支持。它提供了完整的任务调度和管理功能，能够帮助用户实现分布式环境下的任务调度、执行和监控。XXL-Job具有轻量、易用、稳定的特点，广泛应用于各种业务场景。通过本文的介绍和实战演示，读者可以快速了解并上手使用 XXL-Job 进行任务调度管理。XXL-Job 提供了简单易用的界面和丰富的功能，能够满足各种任务调度需求，是一款值得推荐的分布式任务调度平台。
presto/trino 入门介绍实战
EverythingAtOnce的博客
01-15 3091
facebook开源的prestodb是一个分布式的sql引擎，支持多种数据源接入，采用统一的sql语句进行查询。内部实现也类似spark，将这个查询分为分析、优化、阶段划分、执行这些步骤。Presto是由Facebook开发的分布式sql查询引擎，用来进行高速、实时的数据查询Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS的问题Presto是一个计算引擎，它不存储数据，通过丰富的connector获取第三方服务的数据，并支持扩展。
从 0 到 1 学习 Presto，这一篇就够了_从0到1，学会presto(2)
2401_84166896的博客
04-30 742
环境名称,自己任取.集群中的所有 Presto 节点必须具有相同的环境名称.#支持字母,数字.对于每个节点,这必须是唯一的.这个标识符应该在重新启动或升级 Presto 时保持一致node.id=1#指定 presto 的日志和其它数据的存储目录,自己创建前面创建好的数据目录#参考官方给的配置,根据自身机器实际内存进行配置-server#最大 jvm 内存-Xmx16G#指定 GC 的策略。
Presto基础知识
Yuhang.Pei 's blog
06-11 1017
引入Presto缓存之前 BackgroundHiveSplitLoader 使用底层的文件系统直接进行数据的读写；引入Presto缓存机制之后，底层的文件系统被被CachingFileSystem 代理一层CachingFileSystem 有两个子类，根据你选用的底层缓存引擎的不同可能会是下面的两个之一:AlluxioCachingFileSystem /əˈluːʒ(ə)n/: 在Presto Worker本地利用磁盘进行了数据的缓存。
Presto学习-presto介绍
Xlucas的博客
11-13 6099
1、presto基本概念1、1 presto服务进程 presto集群中一共有两种服务器进程：coordinator服务进程和worker服务进程，其中coordinator服务进程的主要作用是：接收查询请求、解析查询语句、生成查询执行计划、任务调度和worker管理。而worker服务进程则执行被分解后的查询执行任务：task coordinator coordinator服务进程部署于集群
Presto数据查询引擎入门分享（PPT+Q&A）
Coding Space
03-23 1101
PPT的内容是去年在部门内部做的关于Presto入门分享，主要涉及的内容如下图所示： 由于优快云不支持嵌入iframe，所以具体的内容放在腾讯文档上面了： Presto数据查询引擎入门分享 Presto中有很多的基本概念，只有理解好这些基本概念，我们才能更好的理解Presto，下面是我梳理的各种概念的脑图： 接下来的部分是关于当时分享后的一些Q&A： 1.Presto的task是...
Presto入门简介（含和Hive对比）
super_tianxinmomo的博客
04-02 1万+
一、简介 Presto是由Facebook开发的，是一个运行在多台服务器上的分布式查询引擎，本身并不存储数据，但是可以接入多种数据源（Hive、Oracle、MySql、Kafka、Redis等），并且支持跨数据源的级联查询，比如： select * from a join b where a.id=b.id;，其中表a可以来自Hive，表b可以来自Mysql。 优势（相对于Hive）： Pr...
Presto实战
weixin_34221112的博客
05-03 538
为什么80%的码农都做不了架构师？>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值