Flink SQL 窗口表值函数 Window TVF 实战

已于 2022-10-04 16:58:48 修改
阅读量895 收藏
点赞数
分类专栏： Flink 文章标签： sql flink Window TVF
于 2022-10-04 16:58:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SunnyYoona/article/details/127162902
版权
本文深入探讨了Flink的窗口表值函数，包括TUMBLE、HOP和CUMULATE三种类型，详细解释了它们基于处理时间和事件时间的工作原理，并提供了多个示例展示如何使用这些函数进行窗口操作，如计算用户消费次数、最早和最后消费时间等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

传送门：Flink 系统性学习笔记

Flink 1.13.5

窗口 TVF 是 Flink 定义的多态表函数(缩写 PTF)。PTF 是 SQL 2016 标准的一部分，是一个特殊的表函数，可以将表作为参数。因为 PTF 在语义上像表一样使用，所以它们的调用发生在 SELECT 语句的 FROM 子句中。窗口 TVF 是传统 Grouped Window 函数的替代品。窗口 TVF 更符合 SQL 标准，也更强大，可以支持复杂的基于窗口的计算，例如 Window TopN, Window Join。但是，Grouped Window 函数只能支持窗口聚合。

1. 窗口函数

Apache Flink 提供了 3 个内置窗口 TVF：TUMBLE、HOP 和 CUMULATE。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink实战--flinksql 窗口TVF
阿华田的博客
08-11 1384
表值函数(, TVF)，就是指返回值是⼀张表的函数，其实z在Oracle、SQL Server等数据库中屡⻅不鲜。⽽在Flink的上⼀个稳定版本1.13中，社区通过FLIP-145提出了窗⼝表值函数(window TVF)的实现，⽤于替代旧版的窗⼝分组(group window)语法。本文将从 Window TVF 语法、近实时累计计算场景、 Window 性能优化、多维数据分析，来介绍TVF使用。对比发现：TVF 语法更加灵活。............
flink--Window TVF【窗口化表值函数】讲解及源码示例
penriver的博客
11-25 2985
1. 什么是Window TVF Windowing TVFs： Flink定义的多态表函数(简称PTF)，用于将表中的元素划分到定义的窗口中 窗口化TVFs替代了 legacy Grouped Window Functions。 windows TVFs更符合SQL标准，更强大的支持复杂的窗口计算，例如Window TopN, Window Join【在1.13.x中还不支持】。 Grouped Window Functions【分组窗口函数】只能支持窗口聚合。 PTF 【Polymorphi
flinkSQL的Window TVF(表值函数table-valued function)操作
wyp111的博客
07-25 574
pyflink Window TVF
Flink SQL窗口表值函数（Window TVF）聚合实现原理浅析
LittleMagic's Blog
09-20 3511
引子 表值函数(table-valued function, TVF)，顾名思义就是指返回值是一张表的函数，在Oracle、SQL Server等数据库中屡见不鲜。而在Flink的上一个稳定版本1.13中，社区通过FLIP-145提出了窗口表值函数(window TVF)的实现，用于替代旧版的窗口分组(grouped window)语法。 举个栗子，在1.13之前，我们需要写如下的Flink SQ...
flink 窗口表值函数
热门推荐
不是一枚开发
06-08 5万+
  从 1.13 版本开始，Flink 开始使用窗口表值函数（Windowing table-valued functions，Windowing TVFs）来定义窗口。窗口表值函数是 Flink 定义的多态表函数（PTF），可以将表进行扩展后返回  在窗口 TVF 的返回值中，除去原始表中的所有列，还增加了用来描述窗口的额外 3 个列：（window_start）、（window_end）、（window_time）。窗口时间指的是窗口中的时间属性，它的值等于，所以相当于是窗口中包含数据的最大时间戳  在
Flink SQL窗口表值函数聚合实现原理
VqhhMobile的博客
09-27 241
在Flink SQL中，窗口表值函数聚合是一种常见的操作，它通过对数据流中的窗口进行聚合计算，并返回一个表作为结果。综上所述，Flink SQL窗口表值函数聚合实现原理涉及窗口定义、数据分配和窗口聚合等步骤。通过合理定义窗口和选择合适的聚合函数，可以实现对数据流的灵活处理和分析。窗口定义：首先需要定义窗口，指定窗口的类型（例如滚动窗口、滑动窗口、会话窗口等）、窗口的大小和滑动步长等参数。需要注意的是，以上示例只是一个简单的演示，实际使用中可能涉及更复杂的窗口定义和聚合操作。，它接受两个参数：窗口和值。
Flink SQL 分组窗口函数 Group Window 实战
SmartSi
10-05 942
在 Flink 1.12 之前的版本中，Table API 和 SQL 提供了一组分组窗口 Group Window 函数，常用的时间窗口如滚动窗口、滑动窗口、会话窗口都有对应的实现，具体在 SQL 中调用 TUMBLE()、HOP()、SESSION() 分组窗口函数即可。分组窗口的功能比较有限，只支持窗口聚合，所以在 Flink 1.12 之后的版本中不再推荐使用 Group Window 函数。而是推荐使用功能更加强大以及更有效的 Window TVF，具体请查阅。
Flink系列之：窗口函数Windowing table-valued functions (Windowing TVFs)
zhengzaifeidelushang的博客
12-17 621
Windows 是处理无限流的核心。Windows 将流分割成有限大小的“桶”，我们可以在其中应用计算。本文档重点介绍 Flink SQL 中如何执行窗口以及程序员如何从其提供的功能中获得最大收益。请注意，每个元素在逻辑上可以属于多个窗口，具体取决于您使用的窗口表值函数。例如，HOP 开窗创建重叠窗口，其中单个元素可以分配给多个窗口。窗口 TVF 是 Fl​​ink 定义的多态表函数（缩写为 PTF）。PTF 是 SQL 2016 标准的一部分，是一种特殊的表函数，但可以将表作为参数。
Flink SQL:Queries(Windowing TVF)
weixin_48813624的博客
10-26 827
Flink SQL:Queries(Windowing TVF)
Flink自定义函数之表值函数（UDTF函数）
marui156的专栏
05-18 608
用户定义的表函数将零个，一个或多个标量值作为输入参数。返回任意数量的行作为输出，返回的行可以包含一个或多个列。与标量函数区别：相同：都是将零个、一个或多个标量值作为输入参数差异：标量函数返回单个值作为输出，表值函数返回任意数量的行作为输出。
Flink SQL时间属性和窗口介绍 ,窗口表值函数
.
08-05 2687
在创建表的 DDL（CREATE TABLE 语句）中，可以增加一个字段，通过 WATERMARK语句来定义事件时间属性。WATERMARK 语句主要用来定义水位线（watermark）的生成表达式，这个表达式会将带有事件时间戳的字段标记为事件时间属性，并在它基础上给出水位线的延迟时间。具体定义方式如下：) WITH (...把 ts 字段定义为事件时间属性，而且基于 ts 设置了 5 秒的水位线延迟。
大数据Flink（八十五）：Window TVF 支持多维数据分析
Lansonli（蓝深李）的博客
09-21 486
这时，有离线 Hive SQL 使用经验的就会想到，如果有了 Grouping Sets，我们就可以直接用 Grouping Sets 将维度组合写在一条 SQL 中，写起来方便并且执行效率也高。对于经常需要对数据进行多维度的聚合分析的场景，您既需要对a列做聚合，也要对b列做聚合，同时要按照a、b两列同时做聚合，因此需要多次使用UNION ALL。CUBE会枚举指定列的所有可能组合作为GROUPING SETS，而ROLLUP会以按层级聚合的方式产生GROUPING SETS。也可以用于非窗口函数的场景。
flink--Window Aggregation【TVF 聚合 及 分组窗口聚合 】讲解及源码示例
penriver的博客
11-25 1357
1. 什么是Window TVF Aggregation Window TVF Aggregation 是指 基于应用Window TVF函数的分组统计，语法如下： SELECT ... FROM <windowed_table> -- relation applied windowing TVF GROUP BY window_start, window_end, ... 在GROUP BY子句中定义的窗口聚合包含应用于窗口TVF函数产生的新关系的“window_start”和“window
flink1.14 sql基础语法（一） flink sql表查询详解
qq_44665283的博客
07-21 7902
flink sql表查询详解
Flink使用指南: Flink SQL自定义函数
徐腾瑞的博客
06-18 5287
系列文章目录 Flink使用指南 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pand..
Flink系列之：窗口聚合
最新发布
zhengzaifeidelushang的博客
12-17 645
和普通的 GROUP BY 子句一样，包含分组窗口函数的 GROUP BY 子句的查询会对各组分别计算，各产生一个结果行。使用 GROUPING SETS 的窗口聚合要求 window_start 和 window_end 列必须位于 GROUP BY 子句中，但不能位于 GROUPING SETS 子句中。使用 CUBE 的窗口聚合要求 window_start 和 window_end 列必须位于 GROUP BY 子句中，但不能位于 CUBE 子句中。CUBE 是用于指定常见类型的分组集的简写符号。
Clickhouse在京东的实践之路
微信搜：import_bigdata，大数据领域硬核原创作者
04-26 402
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。如果这个文章对你有帮助，不要忘记「在看」「点赞」「收藏」三连啊喂！2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇)互联网最坏的时代可能真的来了我在B站读大学，大数据专业我们在学习F...
FlinkSQL之Windowing TVF
qq_41537882的博客
11-01 615
在Flink1.13版本之后出现的替代之前的Group window的产物，官网描述其 is more powerful and effective
Flink SQL 表值聚合函数（Table Aggregate Function）详解
猫猫爱吃小鱼粮
11-12 1628
Flink SQL 表值聚合函数（Table Aggregate Function）详解
flink sql 窗口函数
07-28
Flink SQL支持窗口函数，可以在流式数据或批处理数据上进行窗口操作。窗口函数主要用于在指定的窗口范围内进行聚合计算。 在Flink SQL中，窗口函数可以通过以下方式使用： 1. 定义窗口：在查询语句中使用`WINDOW`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@SmartSi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值