PrestoSQL, PrestoDB 和 Trino

本文概述了PrestoSQL与PrestoDB的分裂,介绍了PrestoDB在功能和社区支持方面的优势,以及作者个人对PrestoDB(现Trino)选择的转变。Trino项目由Facebook之外的发起人维护,因其ETL支持和社区活跃度而成为新选择。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. PrestoSQL, PrestoDB 和 Trino

Presto 社区分家后搞了 2 个项目, 分别为 PrestoDB 和 PrestoSQL, 同时他们都成立了自己的基金会。我们简单梳理下这 2 个分支的主要核心功能:

PrestoDB:

  • Connector: ElasticSearch 及 Druid
  • Master 和 Worker 通信协议支持二进制
  • Orc 及 Parquet 读写性能优化
  • Hive 写数据支持指定压缩格式
  • task 通信协议可以指定 thrift
  • spi pushdown
  • MapReduce-style shuffle, 支持部分 etl 任务及大查询
  • fix bug 及 improve performace

PrestoSQL:

  • Connector: ElasticSearch 和 MemSQL
  • spi pushdown
  • S3 优化读取
  • join 延时物化
  • 大量的 fix bug 及 improve performance

从以上功能实现可以看到, PrestoDB 更符合我对 Presto 未来的定位:

  • 支持大集群
  • 提高并发能力
  • 减少指定场景的查询耗时, 比如 ORC
  • 下推能力存储计算分离, 比如 agg 扔到存储层去做 (2 个分支都有)

除了以上功能外, PrestoDB 还有其他优点:

  • 核心功能会有技术文章输出
  • issue 里技术实现和细节比较全
  • 基金会里包含 Facebook、阿里巴巴、twitter 及 Uber, 有场景支持和实践, 目前 twitter 员工很活跃
  • 老的 PrestoDB 版本升级简单
  • PrestoDB 代码质量比 PrestoSQL 要好, PrestoSQL 有些地方代码改的有些混乱
  • wiki 和文章排版很舒服, PrestoSQL Blog 也没有任何技术输出

PrestoDB 缺点:

  • 主要是 Facebook 员工维护, Facebook 的文化迫使他们员工没有办法花时间在社区上
  • 社区活跃度不如 PrestoSQL
  • Release Notes 上的改动没有对应的 issue 链接

19 年我经常在 slack 上与 PrestoSQL 社区的人打交道, 别人问我选择版本时候, 我都是建议选择 PrestoSQL, 但是目前我有了不同的想法, 如果说只是使用 Presto, 2 个分支其实都无所谓, 如果说公司体量较大, 会有不少二次开发, 我认为 PrestoDB 做的事情和提供的能力更符合国内很多公司的需求, 比如让 Presto 即要支持 ad-hoc, 又要支持 etl(听说目前 Facebook 就在这么搞), 以及很多实时需求等等。

2020.5.20 补充:

我们决定升级到 PrestoSQL 最新版本了 (333), 原因是:

  • 社区活跃度
  • PrestoDB 主要主力还是 Facebook 维护, 不可控, 且有概率被 C++重写
  • PrestoDB 未来方向主要是 ETL 相关的, 我们有 Spark 兜底, ETL 功能靠 Spark、Hive 就好了

1.1. PrestoSQL 改名 Trino

今天, 知名开源项目 Presto 的三位发起人宣布, 将 PrestoSQL 项目的名字改为 Trino。

该项目原本是由 Facebook 运营的, 但 2019 年年初, Presto 团队的三位创始人离开了 Facebook。从此, Presto 项目被一分为二, 由 Facebook 维护 PrestoDB, Martin、Dain、David 三位 Presto 项目最早的发起人维护 PrestoSQL。

目前, PrestoSQL 项目在 GitHub 上的名称已经改为了 Trino, 其官方也在公告中提供了项目的新地址。

Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。 PrestoDB 是 Facebook 推出的一个大数据的分布式 SQL 查询引擎。可对从数 G 到数 P 的大数据进行交互式的查询,查询的速度达到商业数据仓库的级别。 Presto 可以查询包括 Hive、Cassandra 甚至是一些商业的数据存储产品。单个 Presto 查询可合并来自多个数据源的数据进行统一分析。 Presto 的目标是在可期望的响应时间内返回查询结果。Facebook 在内部多个数据存储中使用 Presto 交互式查询,包括 300PB 的数据仓库,超过 1000 个 Facebook 员工每天在使用 Presto 运行超过 3 万个查询,每天扫描超过 1PB 的数据。此外包括 Airbnb Dropbox 也在使用 Presto 产品。 Presto 是一个分布式系统,运行在集群环境中,完整的安装包括一个协调器 (coordinator) 多个 workers。查询通过例如 Presto CLI 的客户端提交到协调器,协调器负责解析、分析安排查询到不同的 worker 上执行。 此外,Presto 需要一个数据源来运行查询。当前 Presto 包含一个插件用来查询 Hive 上的数据,要求: Hadoop CDH4 远程 Hive metastore service Presto 不使用 MapReduce ,只需要 HDFS 要求: Mac OS X or Linux Java 7, 64-bit Maven 3 (for building) Python 2.4 (for running with the launcher script) 标签:PrestoDB  查询引擎  大数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云满笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值