Presto简介（附格式转换）

Presto：快速数据查询与分析
最新推荐文章于 2025-09-16 13:21:31 发布
原创 最新推荐文章于 2025-09-16 13:21:31 发布 · 5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Presto

Presto是Facebook开发的用于大数据快速交互式分析的查询引擎，相较于Hive性能提升10倍。它适合处理数据仓库和分析场景，支持SQL语法，能连接多种数据源。在实际使用中，作者遇到的挑战包括日期和数值格式转换，如从字符串到date和double的转换，并分享了处理技巧。

------ 欢迎来到Presto的世界 biu biu biu ~ ------

本文标题是: Presto简介

官方地址：Presto 镇楼
Wiki地址来一波：Presto

1.简介

  • Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。
  • 该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比Hive要好上 10 倍有多。2013年Facebook正式宣布开源 Presto。

2.速度

本人使用Presto，感觉飞一般的感觉。

3.场景

  • Presto 支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的关系数据库，他不是关系数据库，如 MySQL、PostgreSQL 或者 Oracle 的替代品。Presto 不是设计用来解决在线事物处理（OLTP）；
  • Presto 是一个工具，被用来通过分布式查询来有效的查询大量的数据。Presto 是一个可选的工具，可以用来查询 HDFS，通过使用 MapReduce 的作业的流水线，例如 hive，pig，但是又不限于查询 HDFS
最低0.47元/天 解锁文章
Presto原理与代码实例讲解
AI天才研究院
08-07 1112
Presto原理与代码实例讲解 1.背景介绍 在当今的大数据时代,数据分析和查询已经成为企业和组织的关键任务。传统的数据库系统在处理大规模数据集时往往会遇到性能瓶颈,无法满足实时查询和分析的需求。为了解决这个问题,Facebook于2012年开源了Presto,一款分布式SQL查询引擎,旨在提
价值投资AI数据来源的5个渠道：AI应用架构师推荐，合法又好用（附教程）
AI天才研究院
08-09 1351
价值投资的核心逻辑是“寻找价格低于内在价值的资产”，而AI模型的能力边界完全由数据质量决定——从财务报表的精确性到另类数据的增量信息，从宏观经济的趋势到ESG的长期影响，每一类数据都在构建AI对“内在价值”的认知。本文基于架构师视角，系统拆解价值投资AI的5类核心数据源（官方监管、商业服务、企业披露、宏观行业、另类数据），结合合规性分析实践教程（附Python代码）和架构设计，帮助技术团队搭建“可靠、高效、可扩展”的数据基础。无论是入门者还是资深架构师，都能从本文获得“从数据采集到模型应用”的完整知识链。
presto 中格式转换的用法
AaronPaul的博客
01-07 4179
cast(目标字段 as 目标格式)
【Presto中字符型长日期改为短日期】
xy_303的博客
10-09 379
1、presto中的create_time的日期格式是字符型的‘2023-09-28 00:03:33’，我该怎样。自动调整这个范围而不用每次人工输入？2、筛选完成后的日期范围，我该怎么。
spark hive presto doris 对substr函数的差异
最新发布
LXP
09-16 763
摘要：Hive、Spark、Presto(Trino)和Doris的substr函数在字符串截取时存在关键差异：1）起始索引规则不同（Hive/Presto/Doris为1-based，Spark的substr为0-based）；2）Spark提供substring函数保持与Hive兼容；3）负数索引均支持从末尾计数。建议跨系统开发时优先使用substring函数确保一致性，特别注意Spark特有的0-based索引规则，并对边界条件进行单独测试。
离散化操作
weixin_30650859的博客
10-28 255
先说两个函数 unique函数： 去重函数 使用方法：unique (首地址，尾地址); 功能：去除相邻的重复元素（只保留一个），并把重复的元素放在最后； unique 是返回去重后的尾地址； lower_bound() 函数，在前闭后开区间进行二分查找 lower_bound() 是返回>=val 的位置，当所有元素都小于val，返回last位置； 使用方法：l...
二进制、八进制、十六进制(一)
dawang2006的专栏
08-06 2000
6.1 为什么需要八进制和十六进制?6.2 二、八、十六进制数转换到十进制数  6.2.1 二进制数转换为十进制数  6.2.2 八进制数转换为十进制数  6.2.3 八进制数的表达方法  6.2.4 八进制数在转义符中的使用  6.2.5 十六进制数转换成十进制数  6.2.6 十六进制数的表达方法  6.2.7 十六进制数在转义符中的使用6.3 十进制数转换到二、八、十六进制数  6.3.1
presto时间戳转字符串
鸭梨的博客
01-04 9585
from_unixtime 返回值类型是一个timestamp from_unixtime(unixtime) → timestamp Returns the UNIX timestamp unixtime as a timestamp. from_unixtime(unixtime, string) → timestamp with time zone Returns the UNIX timestamp unixtime as a timestamp with time zone using stri
01-JAVA岗位笔试题(A卷)附答案
04-02
解决方法包括使用中间件统一查询逻辑、预先聚合数据、或者使用分布式查询引擎如Presto等。 #### 二十五、线程池调优 线程池的调优通常包括以下几个方面： - **核心线程数**：根据系统负载调整合适的大小。 - **最大...
AI风险预警系统的特征工程架构：如何构建稳定高效的特征平台？（附Feast实战）
小程序开发
08-15 1162
在AI驱动的风险预警系统（如金融欺诈检测、信贷风险评估、反洗钱监测、网络安全威胁预警等）中，数据和特征决定了模型性能的上限，而算法和模型只是尽可能地逼近这个上限。特征工程（Feature Engineering），作为连接原始数据与模型输入的桥梁，其质量直接关系到预警系统的准确性、稳定性和可解释性。不同团队、不同模型可能重复开发相同或相似的特征，造成资源浪费和数据口径不一致。数据分布随时间变化，导致特征失去预测能力，预警模型效果衰减。
【presto & hive 对比1】presto 与 hive的时间转换对比
yangnianjinxin的博客
07-26 1892
工作中经常遇到的问题 log_date:20200110 需要转换为标准日期，或者与时间戳数据进行比较 工作环境涉及到presto与hive, 利用presto检查查询时速度更快，因此一般需要同时用presto和hive的语法对日期进行转换 因此本篇博文主要对最近用到的时间转换进行梳理 问题1：时间格式转换 例子: 当前时间-20200110 转化为2020-01-10 --输出 2020-01-10 --hive select to_date(from_unixtime(UNIX_TIMESTAMP(
将十进制转化为二进制
leafinsnowfield的专栏
12-29 641
#include #include #define MAXN 50 char output[MAXN]; char input[MAXN]; int inputChar(char *input); void changeChar(int change,char *output); int main(void) { int change; while(scanf("%s",input)=
hive&presto日期与字符串转换
热门推荐
星空的风fly
01-10 3万+
由于presto小数据量比hive查询快的多，日常查询作业会经常在hive和presto中转换，但二者函数或部分语法不一样，尤其是日期，因此简单梳理了hive与presto最近一段时间日期时间转换。
1. Presto基础
doing a 责任心 dataer
01-11 3825
注：时间戳格式化 format_datetime(timestamp,‘yyyy-MM-dd HH:mm:ss’)满足条件则计数：count_if()【hive中没有，同hive中 sum(if(condition,1,0))】返回string中符合pattern的元素： regexp_extract_all、regexp_extract。注2：max(x, n)、min(x, n) 与rank相比，书写更简单，但无法直接带出相关信息。即：int型 转换成 2017-05-10 06:18:50.000。
presto字符串转浮点数、整数处理
zhuchunyan_aijia的博客
01-10 1万+
1. 相除保留小数位 Presto中两个整数相除会结果为零。当我们相除的两个数都为整数时，比如我想用两个count（）结果相除，想保留n为小数 select count(*)*1.00 / count(*) from student; 结果就会自动保留两位小数，想要n位就1.后面n个零 2. 字符串转整数 select cast (bj_score as bigint), bj_score from dcs_input_tab_bj_score 3. 字符串转浮点 select cast
presto时间转换、时间加减、时间差
别说话写代码的博客
04-13 2万+
Hive中对应的日期操作见：https://blog.youkuaiyun.com/qq_21997625/article/details/111473520 问题1：时间格式转换 例子: 当前时间20200110 转化为2020-01-10 --presto select (format_datetime(date_parse('20200110','%Y%m%d'),'yyyy-MM-dd') 问题2： 时间的加减 例子: 原时间为20200110 需先转化为标准日期形式再加减 --presto .
成功解决Hive/presto判断字段类型：typeof(col1)
软件测试入门&进阶
07-04 3837
selecttypeof(col1) from databasename.tablename
Presto--常见语法
qq_46893497的博客
01-16 3128
我们的查询引擎有hive、spark、presto，presto查询速度快，但是很多语法和sparksql不兼容，这里记录一下经常用的语法，方便自己使用，也供大家参考。
presto
weixin_42814602的博客
02-06 1711
cast cast(a.xxx as bigint) as yyy 日期函数 date_trunc('week',CURRENT_DATE - INTERVAL '1' DAY) -- week第一天日期 date_diff('day', 某天日期, CURRENT_DATE） -- 时间间隔 date_add('week',-1,CURRENT_DATE - INTERVAL '1' D...
presto 日期格式转换
07-27
在Presto中，可以使用`format_datetime`函数将日期格式转换为指定的格式。例如，使用以下语法将Unix时间戳转换为标准的日期时间格式： ``` SELECT format_datetime(from_unixtime(1610085216),'yyyy-MM-dd HH:mm:ss') ``` 这将输出一个`varchar`类型的日期，例如`2021-01-08 13:53:36`。\[1\] 如果要将字符串日期格式转换为标准日期格式并进行加减操作，可以使用`date_parse`函数将字符串解析为日期，然后使用`date_add`函数进行加减操作。例如，以下是一个示例： ``` SELECT date_add('day', -6, cast(format_datetime(date_parse('20200110','%Y%m%d'),'yyyy-MM-dd') as date)) ``` 这将将字符串日期`20200110`转换为标准日期格式，并在此基础上减去6天。请注意，第三个参数必须转换为`date`格式，否则会报错。\[2\] 另外，如果要将日期转换为指定的格式，可以使用`format_datetime`函数。例如： ``` SELECT format_datetime(cast('2021-06-19' as date),'yyyy-MM-dd') ``` 这将将日期`2021-06-19`转换为`varchar`类型的日期，例如`2021-06-19`。\[3\] #### 引用[.reference_title] - *1* *3* [hive&presto日期与字符串转换](https://blog.youkuaiyun.com/lzxlfly/article/details/108532265)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [presto时间转换、时间加减、时间差](https://blog.youkuaiyun.com/qq_21997625/article/details/115665541)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值