0基础学习PyFlink——用户自定义函数之UDTF

flinksql的udtf函数 阅读详情

在《0基础学习PyFlink——用户自定义函数之UDF》中,我们讲解了UDF。本节我们将讲解表值函数——UDTF
在这里插入图片描述

表值函数

我们对比下UDF和UDTF

def udf(f: Union[Callable, ScalarFunction, Type] = None,
        input_types: Union[List[DataType], DataType, str, List[str]] = None,
        result_type: Union[DataType, str] = None,
        deterministic: bool = None, 
        name: str = None, 
        func_type: str = "general",
        udf_type: str = None
        ) -> Union[UserDefinedScalarFunctionWrapper, Callable]:
def udtf(f: Union[Callable, TableFunction, Type] = None,
         input_types: Union[List[DataType], DataType, str, List[str]] = None,
         result_types: Union[List[DataType], DataType, str, List[str]] = None,
         deterministic: bool = None,
         name: str = None
         ) -> Union[UserDefinedTableFunctionWrapper, Callable]:

可以发现:

  • UDF比UDTF多了func_type和udf_type参数;
  • UDTF的返回类型比UDF的丰富,多了两个List类型:List[DataType]和List[str];

特别是最后一点,可以认为是UDF和UDTF在应用上的主要区别。
换种更容易理解的说法是:UDTF可以返回任意数量的行作为输出而不是像UDF那样返回单个值(行)。
举一个例子:

word_count_data = ["A", "B", "C", "a", "C"] 

我们希望统计上面这些字符的个数,以及小写后字符的个数。这样A的个数是1,a的个数是2(因为a算一个,A小写后又算一个)。C的个数是2,g的个数是2。
这就要求统计算法在遇到大写字母时,需要统计大小写两种字母;而遇到小写字母时,只需要统计小写字母。

    @udtf(result_types=[DataTypes.STRING()], input_types=row_type_tab_source)
    def rowFunc(row):
        if row[0].isupper():
            yield row[0]
            yield row[0].lower()
        else:
            yield row[0]

yield关键字返回的是generator生成器。Table API对rowFunc的调用最终会生成[“A”,“a”,“B”,“b”,“C”,“c”,“a”,“C”,“c”]。
和调用UDF不同的是,需要使用flat_map来调用UDTF。flat即为“打平”,可以生动的理解为将多维降为一维。

    tab_trans=tab_source.flat_map(rowFunc)
    tab_trans.execute().print()
+--------------------------------+
|                             f0 |
+--------------------------------+
|                              A |
|                              a |
|                              B |
|                              b |
|                              C |
|                              c |
|                              a |
|                              C |
|                              c |
+--------------------------------+
9 rows in set

由于我们没有指定经过处理的值所属的字段名称,于是会使用默认的f0作为字段名。我们可以使用alias来给它别名下。

    tab_trans_alias=tab_trans.alias('trans_word')
    tab_trans_alias.execute().print()
+--------------------------------+
|                     trans_word |
+--------------------------------+
|                              A |
|                              a |
|                              B |
|                              b |
|                              C |
|                              c |
|                              a |
|                              C |
|                              c |
+--------------------------------+
9 rows in set

最后我们就可以用这个新的表做字数统计计算

    tab_trans_alias.group_by(col('trans_word')) \
        .select(col('trans_word'), lit(1).count) \
        .execute_insert("WordsCountTableSink") \
        .wait()
+I[A, 1]
+I[a, 2]
+I[B, 1]
+I[b, 1]
+I[C, 2]
+I[c, 2]

完整代码

from pyflink.common import Configuration
from pyflink.table import (EnvironmentSettings, TableEnvironment, Schema)
from pyflink.table.types import DataTypes
from pyflink.table.table_descriptor import TableDescriptor
from pyflink.table.expressions import lit, col
from pyflink.common import Row
from pyflink.table.udf import udf,udtf,udaf,udtaf
import pandas as pd
from pyflink.table.udf import UserDefinedFunction

word_count_data = ["A", "B", "C", "a", "C"]  
    
def word_count():
    config = Configuration()
    # write all the data to one file
    config.set_string('parallelism.default', '1')
    env_settings = EnvironmentSettings \
        .new_instance() \
        .in_batch_mode() \
        .with_configuration(config) \
        .build()
    
    t_env = TableEnvironment.create(env_settings)
    
    row_type_tab_source = DataTypes.ROW([DataTypes.FIELD('word', DataTypes.STRING())])
    tab_source = t_env.from_elements(map(lambda i: Row(i), word_count_data), row_type_tab_source)

    # define the sink schema
    sink_schema = Schema.new_builder() \
        .column("word", DataTypes.STRING().not_null()) \
        .column("count", DataTypes.BIGINT()) \
        .primary_key("word") \
        .build()
        
    # Create a sink descriptor
    sink_descriptor = TableDescriptor.for_connector('print')\
        .schema(sink_schema) \
        .build()
    
    t_env.create_temporary_table("WordsCountTableSink", sink_descriptor)
    
    @udtf(result_types=[DataTypes.STRING()], input_types=row_type_tab_source)
    def rowFunc(row):
        if row[0].isupper():
            yield row[0]
            yield row[0].lower()
        else:
            yield row[0]

    tab_trans=tab_source.flat_map(rowFunc)
    tab_trans.execute().print()
    tab_trans_alias=tab_trans.alias('trans_word')
    tab_trans_alias.execute().print()
    tab_trans_alias.group_by(col('trans_word')) \
        .select(col('trans_word'), lit(1).count) \
        .execute_insert("WordsCountTableSink") \
        .wait()

if __name__ == '__main__':
    word_count()
pyflink sql udaf 使用流程 当Flink提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF(UDF:user defined function)、(UDAF)、(UDTF) 自定义函数类别 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 UDAF开发实例: 先看一下json的数据 {"productPrice":1} { 阅读详情

相关推荐

Flink流处理中使用UDTF编程

UDTF(User-Defined Table Function)是Apache Flink流处理框架中的一种编程模式,它允许开发人员自定义函数来处理流数据,并生成结果表。在本文中,我们将深入探讨如何在Flink中使用UDTF进行流处理,并提供相应的源代码示例。通过自定义UDTF函数,我们可以对流数据进行灵活的处理,并生成相应的结果表。在上述示例中,我们首先创建了一个包含两个输入元素的数据流,并将其注册为一个名为"input"的表。然后,我们可以将输入流注册为一个表,并在该表上应用UDTF函数。

CyberXZ的博客 398

Pyflink教程(三):自定义函数

pyflink

yuxj的博客 1179

昆仑通态,自由串口通讯

软件默认无该功能,需要问客服索要扩展包。

cfqq1989的博客 1547

FlinkSQL自定义UDTF使用的四种方式

FlinkSQL的Table functions对标Hive的UDTF,可以实现数据⼀进多出的炸裂效果,广泛应用与电商、运营商、手机厂商等数据处理过程。

大数据研习社 2172

Cocos2d-x手游逆向实战:Frida高阶Hook与动态解密技术

Cocos2d-x作为主流跨平台游戏引擎,其混合架构(C++核心+JNI桥接+Lua/JS脚本)和强加固策略(符号剥离、anti-frida、so加壳)使传统逆向方法失效。本文围绕‘无符号定位’‘C++函数硬编码地址识别’‘Lua层AST级劫持’‘OpenGL内存回溯解密’四大关键技术展开,深入解析如何在真实上线项目中稳定hook被strip的libcocos2d.so关键函数、绕过反调试心跳检测、从glTexImage2D参数逆向追踪明文资源,并结合熵值扫描实现零先验知识的内存明文发现。面向已掌握Frid

weixin_30345577的博客 677

UE4逆向实战:如何快速定位UWorld和GName的5种实用技巧(含版本差异分析)

本文详细介绍了UE4逆向工程中快速定位UWorld和GName的5种实用技巧,包括特征码定位法、动态行为分析法、静态符号分析法等,并针对不同版本差异提供了适配方案。特别强调了UWorld作为游戏世界核心容器和GName作为名称管理系统的重要性,帮助开发者高效进行游戏逆向分析。

star的博客 900

Flink PyFlink Table 用户自定义函数(UDF/UDTF/UDAF/UDTAAF)完全指南

本文是 Flink 项目中 PyFlink Table API 用户自定义函数(User Defined Functions)的权威技术指南,以仓库内官方参考文档 [flink-python/docs/reference/pyflink.table/udf.rst](https://link.gitcode.com/i/52f29e55d620e0117a14449c8b1135d4) 为主体骨架

gitblog_00962的博客 653

星敏感器:卫星姿态测量的“星空导航仪”

在卫星、航天器和深空探测器的姿态控制系统中,星敏感器(Star Tracker) 是最精确的姿态测量设备之一。它通过识别恒星的位置,计算出航天器在惯性空间中的三轴姿态,精度可达 角秒级(arcsecond),是许多高精度任务(如遥感、天文观测、深空探测)的核心传感器。

ScilogyHunter的博客 3709

0基础学习PyFlink——用户自定义函数之UDF

我们可以把它看成是一个新表的结构描述,即一行只有一个字段——lower_word,它的类型也是String。新表的字段也在udf的result_type中定义了,它是String类型的lower_word。后面我们对新表就要聚合统计这个新的字段,而不是老表中的字段。map方法中,我们会给UDF修饰的方法传入原始表tab_source每行中的word字段的值。input_types我们设置成[DataTypes.STRING()],即该数组中只有一个参数,也表示修饰的方法只有一个参数,类型是String。

方亮的专栏 1196

vue2/3 - H5 移动端网页中调用手机摄像头扫描二维码 / 条形码功能,在h5手机网页里调起相机摄像头进行二维码或条形码扫描效果详细教程(详细示例组件源码,一键复制开箱即用!)

vue扫描二维码条形码,vue网页调用摄像头扫二维码条形码,vue移动端如何实现调用相机扫描二维码,vue移动端扫一扫功能,vue怎么做移动端h5扫一扫功能,vue识别二维码和条形码,vue实现点击按钮调用摄像头扫码,vue调用本地摄像头实现拍照功能,Vue中如何进行二维码生成与扫描,如何实现vue在手机浏览器中调用摄像头实现扫描二维码功能,VUE项目移动端H5调用摄像头扫码,vue项目中实现H5调取摄像头,网页调用摄像头实现二维码扫描功能,vue调用手机摄像头,vue在调用摄像头扫码,vue自定义打开摄像

✅ 精选推荐文章 1万+

VTK 显示大量点云数据及交互(点云拾取、着色、测量等)功能

VTK (Visualization Toolkit) 是一个强大的开源可视化库,非常适合处理点云数据。下面将介绍如何使用 VTK 显示大量点云数据,并实现点云拾取、着色、测量等功能。

深之JohnChen的专栏 2003

​PyFlink 教程(二):PyFlink Table API - Python 自定义函数

背景:Python 自定义函数是 PyFlink Table API 中最重要的功能之一,其允许用户在 PyFlink Table API 中使用 Python 语言开发的自定义函数,极大...

Ververica的博客 3753

“华为杯”研究生数学建模竞赛2020年-【华为杯】E题:能见度估计与预测(附获奖论文及python代码实现)

因此,题目要求借助机场的 AMOS 观测数据中的气压、温度、湿度、风速等气象因子,达到 100% 时,空气中的水汽便会凝结成细微的水滴悬浮于空中,使地面水平的能见度下。传统的仪器探测法成本高,覆盖范围小,而基于视频的能见度检测能弥补仪器测量的不足之处,但是预测精度不高,需要进一步改。象条件,空气质量的影响,其中较为关键的影响因子是雾和霾。性过强,激光能见度仪的检测方法更为可信,但是激光能见度仪覆盖的检测范围小,安装。覆盖的交通视频路况数据间接计算得到能见度数值的方法,此方法成本较低,覆盖范围广。

getusushu的博客 2285

0基础学习PyFlink——用户自定义函数之UDTAF

PyFlink UDF UDTF UDAF UDTAF

方亮的专栏 1485

python实现马丁策略(股市) (附完整源码)

python实现马丁策略(股市) (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 606

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

1.11.0 pyflink udtf自定义函数

官网地址https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/python/python_udfs.html from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment, DataTypes from pyflink.table.descriptors impor.

u010034713的博客 1288

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

PyFlink 用户自定义函数(UDF / UDTF / UDAGG / UDTAGG)完整实战指南:从 Python Table API 到 SQL 的四种函数定义与调用

用户自定义函数(User-Defined Functions,UDF)是 PyFlink Python Table API 程序中表达力最强的扩展机制,它允许开发者用 Python 直接编写标量计算、行展开、多行聚合以及"一行进、多行出"的表聚合逻辑。本指南以 [docs/content.zh/docs/dev/python/table/udfs/python_udfs.md](https://l

gitblog_02973的博客 512

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

PyFlink Table API Map / FlatMap / Aggregate / FlatAggregate 一篇搞懂(含 UDF/UDTF/UDAF/UDTAF)

本文介绍了 PyFlink 中四种核心数据处理操作(Map、FlatMap、Aggregate、FlatAggregate)的实现方式及适用场景。Map 用于单行转换,支持标量函数和 pandas 向量化处理;FlatMap 实现一行变多行,适用于数据拆分场景;Aggregate 提供多行聚合能力,支持通用 UDAF 和 pandas 向量化实现;FlatAggregate 则支持每个分组输出多条结果,典型应用如 TopN 查询。文章通过代码示例详细说明了每种操作的实现方法,并强调了关键注意事项,如参数传递

hello.reader 951

Flink Python Table API 用户自定义函数完全指南:UDF、UDTF、UDAGG 与 UDTAGG 实战

本指南围绕 Flink PyFlink 中 Python Table API 的通用用户自定义函数(General User-defined Functions)展开,系统讲解标量函数(Scalar Function)、表函数(Table Function)、聚合函数(Aggregate Function)与表聚合函数(Table Aggregate Function)的定义、注册与调用方式。读者

gitblog_00083的博客 192

PyFlink Table API Word Count 实战:从批式 CSV 处理到 Datagen 流式词频统计

本文以 [flink-python/docs/examples/table/word_count.rst](https://link.gitcode.com/i/ee81f5e8739dc82f26933c81a33930bb) 为主线,深入剖析 PyFlink 官方提供的两个 Table API 词频统计示例:`word_count.py`(可读取本地 CSV 文件或使用内置数据集的批式词频统计

gitblog_00970的博客 364

python实现pyflink的table自定义函数

代码】python实现pyflink的table自定义函数。

WangYouJin321的博客 849

PyFlink Table API 用纯 Python 写一个 WordCount(读 CSV + 聚合 + 写出)

本文介绍了如何使用Flink Python Table API构建一个WordCount数据处理管道。主要内容包括:1)通过TableEnvironment创建流处理环境;2)使用TableDescriptor或DDL两种方式注册文件系统的CSV源表和JSON目标表;3)实现UDTF函数进行单词拆分;4)通过flat_map、group_by和count操作实现单词统计;5)执行execute_insert触发计算并输出结果。文章还提供了完整可运行代码示例,并分享了关于并行度设置、批流模式选择、文件格式选用

hello.reader 1424

Apache Flink PyFlink 指南:用 Python API 构建批流一体的数据管道

PyFlink 是 Apache Flink 的 Python API,它让开发者可以直接用 Python 构建可扩展的批处理与流处理作业——从实时数据处理管道、大规模探索性数据分析,到机器学习(ML)管道与 ETL 流程。如果你已经熟悉 Python 以及 Pandas 这类数据处理库,PyFlink 能显著降低上手 Flink 生态的门槛。本文以 [docs/content/docs/dev/

gitblog_00806的博客 30

10分钟上手PyFlink:从数据到洞察的实时处理实战

你是否还在为海量数据流处理而烦恼?面对持续涌入的用户行为日志、交易记录和传感器数据,传统批处理系统总是慢人一步?本文将带你零基础掌握Apache Flink的Python API——PyFlink,通过3个核心案例和5个实用技巧,让你在10分钟内搭建起企业级实时数据处理管道。读完本文,你将获得: - 从零开始的PyFlink环境搭建指南 - 3个核心API的实战应用(Table API/SQL/...

gitblog_00203的博客 771

PyFlink Table API 用户自定义函数(Python UDF)实战指南:定义、打包分发、资源加载与单元测试

PyFlink 的 Table API 允许开发者直接使用 Python 编写用户自定义函数(UDF),在流式与批处理作业中完成逐行或按批的数据变换。本文以 Flink 官方文档《User-defined Functions Overview》([overview.md](https://link.gitcode.com/i/d0d11acea6505294e3ed50503d1907b5))为主

gitblog_00330的博客 68

PyFlink Table API核心操作与UDF实现详解

在流批一体数据处理领域,PyFlink Table API 提供了强大的数据处理能力。其核心操作如 Map、FlatMap 等行级转换函数,以及 Aggregate、FlatAggregate 等聚合操作,构成了数据处理的基础骨架。理解这些操作的原理和性能特征,对于构建高效的数据管道至关重要。通过用户自定义函数(UDF/UDTF/UDAF/UDTAF),开发者可以灵活扩展处理逻辑,满足电商分析、实时监控等复杂场景需求。本文结合基准测试数据,详细解析了各类操作在百万级数据集上的性能表现,并提供了状态管理、容错

weixin_29057065的博客 164
上一篇: 0基础学习PyFlink——用户自定义函数之UDF
下一篇: 0基础学习PyFlink——用户自定义函数之UDAF
breaksoftware
breaksoftware 领域专家: 操作系统技术领域 领域专家: 操作系统技术领域
博客等级 码龄20年 6901粉丝 724原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

breaksoftware

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值