Presto ETL SQL 执行框架

最新推荐文章于 2024-02-28 17:48:47 发布
原创 最新推荐文章于 2024-02-28 17:48:47 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#presto #presto-etl #etl

介绍了一个针对Presto的ETL执行器，它能够顺序调用SQL语句，并通过placeholders.sql文件来获取参数，支持循环调用SQL及保存特定参数。此工具为数据处理提供了新的解决方案。
部署运行你感兴趣的模型镜像

简介:

  • 仅适用于 presto
  • 之前模仿 sqoop 的功能,写了一版 presto-extract,但发现并不好用,于是跳出 sqoop 的思维,重新写了一版
  • 该版本的职责:
    • 负责顺序调用 sql
    • 一个负责提供占位参数的 placeholders.sql
    • 从 placeholders.sql 获取参数,并填充到顺序调用的 sql 中
    • 提供循环 sql 调用
    • 根据脚本入参,可保存需要保存的 placeholder 参数

源码

您可能感兴趣的与本文相关的镜像

Presto原理与代码实例讲解
AI天才研究院
06-02 701
Presto原理与代码实例讲解 1.背景介绍 在当今大数据时代,数据分析和处理已经成为各行业的关键能力。传统的数据库系统难以满足现代数据处理的需求,因此出现了一系列新兴的大数据处理引擎。其中,Presto作为一款开源的大数据分布式SQL查询引擎,凭借其出色的查询性能和良好的扩展性,在业界获得了
大数据ETL工具比较：Sqoop vs Flume vs Kafka
最新发布
AI天才研究院
04-22 1285
随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；
ETL--Hive与Presto
weixin_44976835的博客
09-09 1037
ETLhive分区表(presto不支持)分区表创建分区表插入hive与hdfs地址映射(presto不支持)首先在建表时映射在对表进行操作时还要进行映射hive、presto的union all、group byhive、presto的group by hive分区表(presto不支持) 分区表创建 CREATE EXTERNAL TABLE IF NOT EXISTS <你的表名>( res bigint COMMENT '注释',/*字段*/ hadoop_owner s
presto sql输入表、输入字段、limit、join操作解析
苏苏爱自由
03-18 5616
前言 一段时间没有写文章了，写下最近做的事情。目前我们这边有一个metabase 查询平台供运营、分析师、产品等人员使用，我们的查询都是使用 presto 引擎。并且我们的大数据组件都使用的是 emr 组件，并且涉及到中国、美西、美东、印度、欧洲、西欧等多个区域，表的权限管理就特别困难。所以就需要一个统一的权限管理来维护某些人拥有那些表的权限，避免隐私的数据泄漏。于是我们就需要一款sql解析工具...
Presto 分布式SQL查询引擎及原理分析
低代码开发，数据，中间件，企业架构原创技术分享
05-13 1613
转载本文需注明出处：微信公众号EAWorld，违者必究。前言：Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持G...
Presto 源码分析 (1) - 一条 sql 在 presto 内如何被执行
Leo's Blog
01-23 2722
由于方法栈调用顺序较深, markdown 不好展示,故使用 yml 来展示. 详情请看 : 一条sql如何被presto执行.yml https://github.com/leoChaoGlut/presto-research/blob/master/presto-research-doc/%E4%B8%80%E6%9D%A1sql%E5%A6%82%E4%BD%95%E8%A2%ABp
Presto源码解析—从SQL到AST抽象语法树
qq_38348841的博客
09-23 2668
前面一篇Presto源码解析之提交查询讲了从客户端以Cli方式和JDBC方式提交SQL到Coordinator的原理，这一篇我们来看一下SQL提交到Coordinator是如何进行预处理，是如何从SQL变成AST抽象语法树的。 源码时序图如下： 接下来我们来详细看一下整个流程中比较重要的类和方法（部分细节会暂时忽略）： QueuedStatementResource：负责处理客户端的Restful请求，包括接收查询，查询执行状态等，关键接口有： URL 请求方式 作用 /v1/statem
Presto分布式SQL查询引擎详解与实战
与传统的批处理系统如Hive不同，Presto不依赖MapReduce框架，而是采用纯内存计算模型，在执行效率方面具有显著优势。文章《Presto简介与使用[可运行源码]》全面系统地介绍了Presto的技术架构、部署流程、支持的数据...
Presto on Spark：扩展 Presto 以支持大规模 ETL
过往记忆大数据
08-09 2521
前言Facebook 的数据仓库构建在 HDFS 集群之上。在很早之前，为了能够方便分析存储在 Hadoop 上的数据，Facebook 开发了 Hive 系统，使得科学家和分析师可以使...
Tardigrade：Trino 解决 ETL 场景的方案
过往记忆大数据
06-26 1018
Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要批处理；但是 Presto 作为一个 MPP 计算引擎...
Presto的介绍、使用和原理架构
迷雾总会解
06-15 1万+
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
Kettle访问Presto异常
weixin_39329692的博客
03-30 618
1 Kettle链接正常但查询报异常 Unrecognized SSL message, plaintext connection? JDBC版本需要和服务器的Presto版本一致. 2 presto启动正常,但使用client连接后提示No worker nodes available 端口冲突, worker启动异常. 单机则是配置文件有误 ...
Presto简介、部署、原理和使用介绍
wt334502157的博客
02-28 1万+
​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/​ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。
Presto
热门推荐
桃李不言下自成蹊
05-09 4万+
多数据源，支持SQL，自定义扩展Connector混合计算（同一种数据源的不同库 or表；将多个数据源的数据进行合并）低延迟，高并发，纯内存计算引擎，高性能。
JAVA连接presto
zhi_yin的博客
03-01 1117
JAVA连接presto
（44）Presto 命令行 Client 安装
song_quan_的博客
07-15 908
1.命令行 Client 安装 1）下载 Presto 的客户端 https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196- executable.jar 2）将 presto-cli-0.196-executable.jar 上传到 hadoop102 的/opt/module/presto 文件夹下 3）修改文件名称 [atguigu@hadoop102 presto]$
presto架构和概念介绍
qq_34120015的博客
06-14 5421
Presto简介
使用jdbc连接presto驱动问题
h18756057535的博客
05-23 3388
场景1：Cause: java.sql.SQLException: Authentication failed: Basic authentication or X-Presto-User must be sent 使用腾讯云的presto并且使用trino驱动时必须设置账号密码 但是presto是内网没有配置账号密码 这时候会出现问题 场景2： Failed to obtain JDBC Connection; nested exception is java.sql.SQLException: Au
【tableau】presto驱动安装
kyra1997的博客
10-28 2436
目录下载安装安装驱动数据链接 下载 tableau 官网下载版本为2021.3 https://www.tableau.com/zh-cn/products/desktop （2021.1版本） 安装 安装成功后，点击添加连接-服务器-presto提示下载驱动 【关闭tableau】 安装驱动 点击【https://prestodb.io/download.html】下载jdbc驱动，版本为0.263 下载后打开tableau 数据链接 选取连接-服务器-presto 确定连接-选对应的架构（数据库表
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值