[16]-Presto UDFs开发-插件注入式

最新推荐文章于 2024-03-12 15:40:11 发布

原创

最新推荐文章于 2024-03-12 15:40:11 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

#Presto UDFs开发示例
GitHub presto-udfs开发支持了一部分HIVE UDFs，多谢分享，在此基础上进行我们的UDF开发学习。

git代码presto-udfs，新建一个测试udf，
UdfTest输入一个字符串str，返回str_hjw

package com.qubole.presto.udfs.udfLearn;

import com.facebook.presto.spi.function.Description;
import com.facebook.presto.spi.function.ScalarFunction;
import com.facebook.presto.spi.function.SqlType;
import com.facebook

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hjw199089

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Presto插件Plugin的UDF函数部署

杨鑫newlife的专栏

06-26

1082

1.先找到Presto的master安装目录：例如： /opt/cloudera/parcels/presto/plugin 2.如果你的udf包是jar的请先建立与udf前缀名字一样的目录例如我的安装目录名字是 /opt/cloudera/parcels/presto/plugin/udfs/udfs-2.0.4-SNAPSHOT.jar 3.然后重启Presto集群 ./bi...

Presto-Plugins:示例Presto插件

05-11

Presto-Plugins 示例Presto插件

4 条评论您还未登录，请先登录后发表或查看评论

presto 插件开发

Leo's Blog

01-25

2897

完整demo: https://github.com/leoChaoGlut/presto-research/tree/master/presto-research-plugin 开发步骤 pom.xml 中填加 dependencies com.facebook.presto:presto-spi build plugin com.facebook.presto:presto-ma

[presto原理] 使用presto的插件开发权限验证和审计

zengccc的专栏

04-29

1405

前言随着presto在公司内部的使用，越来越多的同事将日常的开发迁移到presto，需要不单单仅限于查询平台，更多的用户希望可以通过自己的账号直接使用presto查询，这样就是带来三个问题：用户可以使用内部ERP系统的账号和密码进行查询需要验证用户的权限是否有查询表的权限基于审计的要求，需要保留所有的查询痕迹调研 presto是一个非常方便的mpp架构引擎，为了方便公司用户的使用，提供了非常方便的插件，具体可以参考：presto开发指南。针对以上的需求，通过文档，设计了如下方案：开启http

presto / trino plugin（自定义UDF函数）开发指南

最新发布

赵英超的博客

03-12

2342

ScalarFunction("to_upper") // 固定参数，表示函数名的意思，也就我们在使用Presto的时候用的函数名@Description("我的大小写转换函数") // 函数的注释@SqlType(StandardTypes.VARCHAR) // 表示数据类型// 将获取到的数据转换大写// 在转换后的数据放入内存返回实现presto函数的开发，使用新建maven工程的方式，要比在presto代码下新建子工程的方式简单的多，推荐大家使用方法二。

PrestoAddons:Presto Addons - 用于钛的 Presto 快速应用程序开发的插件

06-20

Presto插件 Presto Addons - 用于钛的 Presto 快速应用程序开发的插件

ranger-2.0.0-presto-plugin.tar.gz

06-04

在本案例中，"ranger-2.0.0-presto-plugin.tar.gz" 是一个已经编译好的Ranger Presto插件的压缩包，为用户省去了自行编译的复杂过程和可能遇到的问题。 Presto是一个分布式SQL查询引擎，设计用于快速查询大规模的...

ranger-2.1.0-presto-plugin.tar.gz

08-09

《Ranger Presto插件详解：ranger-2.1.0-presto-plugin.tar.gz的解构与应用》在大数据处理领域，安全控制是不可或缺的一环，Apache Ranger作为一个强大的安全框架，为Hadoop生态系统提供了丰富的权限管理和审计...

dbt-presto：dbt的presto adpter插件（https：getdbt.com）

02-16

dbt-presto 文献资料有关将Presto与dbt一起使用的更多信息，请参阅dbt文档：安装可以通过pip安装此插件： $ pip install dbt-presto 配置个人资料可以使用以下配置将dbt配置文件配置为针对Presto运行：选项 ...

docker-presto-cluster：docker容器上的多节点presto集群

02-06

docker-presto-cluster docker-presto-cluster是用于在docker容器上启动多个节点的集群的简单工具。图像与的master分支同步。因此，您可以轻松尝试最新的presto以进行开发。产品特点具有docker-compose的docker...

Presto Event Listener开发

weixin_30301449的博客

07-30

455

简介同Hive Hook一样，Presto也支持自定义实现Event Listener，用于侦听Presto引擎执行查询时发生的事件，并作出相应的处理。我们可以利用该功能实现诸如自定义日志记录、调试和性能分析插件，帮助我们更好的运维Presto集群。但是不同于Hive Hook的是，在Presto集群中，一次只能有一个Event Listener处于活动状态。 Event Listen...

Presto:Presto - 快速钛应用程序开发

06-20

普雷斯托 Presto - 快速钛应用程序开发

presto-udf:PrestoSQL https的UDF（用户定义函数）

05-26

安装 mvn clean assembly:assembly 将presto-udf-*-jar-with-dependencies.jar复制到所有presto节点中的${PRESTO_HOME}/plugin/custom-functions/中。（如果不存在，则创建目录）重新启动presto集群职能标量函数功能退货类型参数类型描述用法第一天日期日期一个月的第一天首日（当前日期）最后一天日期日期一个月的最后一天 last_day（current_date） to_datetime 时间戳记日期，varchar 结合两个参数 to_datetime（current_date，'23：59：59'） last_second 时间戳记日期日期的最后一秒 last_second（current_date）昨天时间戳记昨天的最后一

presto插件机制揭秘：探索无限可能的数据处理舞台

Pushkin.的博客

11-03

1908

摘要: “开启数据处理新纪元：探索Presto插件的无限可能” 本文将带领读者一同探索Presto插件机制的魅力。插件机制是Presto实现自定义拓展和功能扩展的关键。我们将详细介绍Presto插件的定义、安装和使用，并深入了解插件机制的内部工作原理。了解插件机制如何提供灵活性和可定制性，并演示如何编写和注册自定义的插件。通过使用插件，你将能够强化Presto的数据处理能力，让你的工作事半功倍。让我们一同开启数据处理的新纪元，探索Presto插件的无限可能！

Presto UDF自定义函数开发

moke的博客

12-11

1454

目录 Presto函数大致有三种： 1.scalar函数常用注解 Presto-udf开源项目地址： https://github.com/qubole/presto-udfs presto推荐jdk版本：Zulu OpenJDK11，相比较openjdk，oracle jdk，jvm占用内存更少。Github的版本也是基于Zulu OpenJDK开发。 Zulu OpenJDK11下载地址： https://www.azul.com/downloads/zulu-community/?ver

presto自定义UDF函数

weixin_43315211的博客

02-22

3170

最近在使用presto进行异步查询，但在本地数据库中的函数无法在presto中进行调用，后了解到presto可以直接书写UDF函数，非常方便。新建一个mvn工程：pom.xml如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...

Presto UDF开发

逆天骚年的博客

03-15

642

版本说明 Presto 0.227 详细步骤创建Maven工程，在pom文件中引入presto-spi和guava依赖，指定打包插件创建类并编写UDF函数 Presto 中函数分为三种：scalar，aggregation 和 window 。此处以Nginx日志中时间字段进行标准格式化为例，使用的是scalar即标量函数，它类似于Hive中的UDF。 @ScalarFunction(“format_nginx_time”) 该注解用于指定函数名称，即在Presto客户端查询时使用的函

Presto-自定义UDF实例(标量函数)

Levin的技术工厂

11-08

1527

背景介绍这篇文章主要说明一下关于Presto中UDF的开发。这个实例中的自定方法的逻辑很简单,只是传如一个字符串,然后在字符串前面拼装一个Hello,只是为了说明如何去自己实现一个Scalar Function。下面是具体步骤及代码 1.创建Maven工程 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmln...

Presto开发udf自定义函数（标量函数）

LG_49的博客

12-19

3153

前言：在 Presto 中，函数大体分为三种：scalar，aggregation 和 window 类型。 scalar 就是标量函数，简单来说就是 Java 中的一个静态方法，本身没有任何状态。下面介绍的就是scalar标量函数相比hive的udf开发，presto的udf并不叫做自定义函数，在presto中的所有的方法都是以插件（plugin）的方式加载到presto中的，下面介绍一下自...

dbt与Presto的整合方案：dbt-presto适配器插件

- **文件名称列表**：`dbt-presto-master`表示这是dbt-presto插件的源代码压缩包文件。"master"通常表示该压缩包包含了最新的代码版本，未经过修改或分支分离。用户可能需要解压这个文件，来查看或修改dbt-presto...