Presto ETL SQL 执行框架

最新推荐文章于 2024-05-16 15:26:10 发布
原创 最新推荐文章于 2024-05-16 15:26:10 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#presto #presto-etl #etl

介绍了一个针对Presto的ETL执行器，它能够顺序调用SQL语句，并通过placeholders.sql文件来获取参数，支持循环调用SQL及保存特定参数。此工具为数据处理提供了新的解决方案。
部署运行你感兴趣的模型镜像

简介:

  • 仅适用于 presto
  • 之前模仿 sqoop 的功能,写了一版 presto-extract,但发现并不好用,于是跳出 sqoop 的思维,重新写了一版
  • 该版本的职责:
    • 负责顺序调用 sql
    • 一个负责提供占位参数的 placeholders.sql
    • 从 placeholders.sql 获取参数,并填充到顺序调用的 sql 中
    • 提供循环 sql 调用
    • 根据脚本入参,可保存需要保存的 placeholder 参数

源码

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

Presto原理与代码实例讲解
AI天才研究院
06-02 700
Presto原理与代码实例讲解 1.背景介绍 在当今大数据时代,数据分析和处理已经成为各行业的关键能力。传统的数据库系统难以满足现代数据处理的需求,因此出现了一系列新兴的大数据处理引擎。其中,Presto作为一款开源的大数据分布式SQL查询引擎,凭借其出色的查询性能和良好的扩展性,在业界获得了
大数据ETL工具比较：Sqoop vs Flume vs Kafka
最新发布
AI天才研究院
04-22 1285
随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；
ETL--Hive与Presto
weixin_44976835的博客
09-09 1037
ETLhive分区表(presto不支持)分区表创建分区表插入hive与hdfs地址映射(presto不支持)首先在建表时映射在对表进行操作时还要进行映射hive、presto的union all、group byhive、presto的group by hive分区表(presto不支持) 分区表创建 CREATE EXTERNAL TABLE IF NOT EXISTS <你的表名>( res bigint COMMENT '注释',/*字段*/ hadoop_owner s
presto sql输入表、输入字段、limit、join操作解析
苏苏爱自由
03-18 5615
前言 一段时间没有写文章了，写下最近做的事情。目前我们这边有一个metabase 查询平台供运营、分析师、产品等人员使用，我们的查询都是使用 presto 引擎。并且我们的大数据组件都使用的是 emr 组件，并且涉及到中国、美西、美东、印度、欧洲、西欧等多个区域，表的权限管理就特别困难。所以就需要一个统一的权限管理来维护某些人拥有那些表的权限，避免隐私的数据泄漏。于是我们就需要一款sql解析工具...
Presto 分布式SQL查询引擎及原理分析
低代码开发，数据，中间件，企业架构原创技术分享
05-13 1612
转载本文需注明出处：微信公众号EAWorld，违者必究。前言：Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持G...
Presto 源码分析 (1) - 一条 sql 在 presto 内如何被执行
Leo's Blog
01-23 2722
由于方法栈调用顺序较深, markdown 不好展示,故使用 yml 来展示. 详情请看 : 一条sql如何被presto执行.yml https://github.com/leoChaoGlut/presto-research/blob/master/presto-research-doc/%E4%B8%80%E6%9D%A1sql%E5%A6%82%E4%BD%95%E8%A2%ABp
Presto源码解析—从SQL到AST抽象语法树
qq_38348841的博客
09-23 2668
前面一篇Presto源码解析之提交查询讲了从客户端以Cli方式和JDBC方式提交SQL到Coordinator的原理，这一篇我们来看一下SQL提交到Coordinator是如何进行预处理，是如何从SQL变成AST抽象语法树的。 源码时序图如下： 接下来我们来详细看一下整个流程中比较重要的类和方法（部分细节会暂时忽略）： QueuedStatementResource：负责处理客户端的Restful请求，包括接收查询，查询执行状态等，关键接口有： URL 请求方式 作用 /v1/statem
Presto分布式SQL查询引擎详解与实战
与传统的批处理系统如Hive不同，Presto不依赖MapReduce框架，而是采用纯内存计算模型，在执行效率方面具有显著优势。文章《Presto简介与使用[可运行源码]》全面系统地介绍了Presto的技术架构、部署流程、支持的数据...
Presto on Spark：扩展 Presto 以支持大规模 ETL
过往记忆大数据
08-09 2521
前言Facebook 的数据仓库构建在 HDFS 集群之上。在很早之前，为了能够方便分析存储在 Hadoop 上的数据，Facebook 开发了 Hive 系统，使得科学家和分析师可以使...
Tardigrade：Trino 解决 ETL 场景的方案
过往记忆大数据
06-26 1017
Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要批处理；但是 Presto 作为一个 MPP 计算引擎...
【大数据】Presto（Trino）SQL 语法进阶
匠人精神，持之以恒！
05-17 5143
Presto（Trino）是一个快速、分布式的SQL查询引擎，可以用于查询各种数据源，包括Hadoop、NoSQL、关系型数据库等。下面是Presto（Trino）SQL语法的概述：SELECT：用于从一个或多个表中检索数据，指定所需的列和过滤条件。FROM：用于指定要查询的表名、子查询或视图，这些源可能跨越数据库和表格。JOIN：用于将两个或多个表格中的列连接到单个结果集中。WHERE：用于指定WHERE子句中定义的条件，以从原始数据集中筛选数据。GROUP BY：用于根据一个或多个列对结果集进行分组。
Presto 分布式SQL查询引擎
can_chen的博客
09-17 2446
文章目录Presto的介绍Presto的数据模型通过Presto客户端查询Presto命令Presto的架构Java程序访问Presto Presto的介绍 Presto是Facebook开发的分布式SQL查询引擎，用来进行高效、实时的数据分析； Presto可以连接Hive、Mysql、Kafka等多种数据源，最常用的是通过Presto连接Hive数据源，可以解决Hive的MapReduce查询耗时太慢的问题； Presto是一个基于内存的计算引擎，它本身不存储数据，通过丰富的Connector获取第三
PRESTO SQL总结分享
赵英超的博客
10-01 7453
presto sql
presto sql 常用函数、性能优化 、常见问题（更新ING）
Abolbee
09-09 9375
presto基础 1、presto对于数组的取值是从1开始的，hive是从0开始的 2、presto不支持hive视图 常用函数 提高性能——调试 1.指定需要返回的字段 2.合理使用GROUP BY 当过滤条件作用在分区字段上面时，可以减少数据扫描的范围，有效提升查询性能； 当group by的数值型字段将比字符型更节省内存空间； 还应考虑统计字段基数（某字段拥有不同值的个数），将基数大的字段放在前面 3.order by 和 limit 配合使用 order by 将所有数据放到一个worker中
presto中sql
weixin_61352535的博客
07-25 1087
presto的配置文件的使用
Presto sql 常用函数
热门推荐
我思，顾我在
09-08 1万+
字符串函数 concat(string1,…,stringN)连接给定的字符串 length(string) 返回给定字符串的长度 lower(string) 返回字符串的小写格式 upper(string) 返回给定字符串的大写格式 lpad(string,size,padstring) 给定字符串的左填充 rpad(string,size,padstring) 给定字符串的右填充 ltrim(string) 从字符串中删除字符左侧空格 rtrim(string) 从字符串中删除字符右侧空格 trim(
常用的Prestosql
伟庭的博客
03-02 3339
常用的Prestosql
在shell 中 presto 执行sql 语句
williamjame的博客
12-08 3125
presto 执行sql 文件： /opt/edw/clients_presto/presto-cli --server ${ip:port} --source ${bdp} --user ${user} -f ${sql文件} presto 执行sql 语句： /opt/edw/clients_presto/presto-cli --server ${ip:port} --source ${bdp} --user ${user} --execute ${sql语句} ...
大数据工具——Presto
麦当当的博客
05-16 2966
Presto是一款分布式SQL查询引擎, Presto可以独立提供计算分析操作, 不需要依赖于其他的计算引擎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值