Flink 动态表操作

原创 已于 2022-03-19 11:05:51 修改 · 7.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

于 2022-03-19 10:31:23 首次发布
本文介绍了Flink中动态表的概念，强调其与静态表的区别，并详细阐述了动态表的持续查询过程，包括如何将流转换为动态表、执行连续查询以及动态表到DataStream的转换。此外，还讨论了时间特性如处理时间的定义及其在实际代码中的应用。

什么是动态表

  • 动态表是 Flink 对流数据的 Table API 和 SQL 支持的核心概念；
  • 与表示批处理数据的静态表不同，动态表是随时间变化的

动态表的持续查询（Continuous Query）

  • 动态表可以像静态的批处理表一样进行查询，查询一个动态表会产生持续查询（Continuous Query）
  • 连续查询永远不会终止，并会生成另一个动态表
  • 查询会不断更新其动态结果表，以反映其动态输入表上的更改
     

动态表的持续查询过程可以参考下图进行理解

流式表查询的处理过程：

  • 流被转换为动态表
  • 对动态表计算连续查询，生成新的动态表
  • 生成的动态表被转换回流

了解本专栏 订阅专栏 解锁全文 超级会员免费看
再谈 Flink 的“动态表”和“流表二象性”
Laurence的技术博客
03-18 1302
本文再次去动态表和表流二象性做一些梳理。1.将流转换为动态表。2.在动态表上计算一个连续查询，生成一个新的动态表。3.生成的动态表被转换回流。我们会从实际代码层面把动态表的概念打通，核心问题就是：动态表的 DDL 定义了什么？持续查询又做了什么？动态表的 DDL 定义了三项核心要素：数据结构，数据源（connector），传输格式（format）；从 ETL 的角度看，持续查询完成了最核心的 ETL 逻辑，从整个流式处理管道的角度看，是持续查询驱动了整个 Pipeline 运转，只有动态表的DDL，不会有任
（十一）Flink 动态表
springk的专栏
08-22 143
动态表是 Flink 支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个连续查询。一个连续查询永远不会终止，结果会生成一个动态表。查询不断更新其 (动态) 结果表，以反映其 (动态) 输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询。
Flink动态表 (Dynamic Table)
数据工匠记
02-12 9690
传统的数据库SQL在设计时并未考虑流数据。但是结果，传统的数据库SQL处理与流处理之间在概念上几乎没有差距。 本文主要是想说一下Flink动态表的思路。主要是可以类比传统数据库的物化视图。 翻译于（官网）原地址：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/table/streaming/dynamic_tab...
Flink Dynamic Tables
hyunbar的博客
08-28 1684
如果把流看作一张表，那么流中每个数据的到来，都应该看作是对表的一次插入（Insert）操作，会在表的末尾添加一行数据。而基于表执行的查询操作，也就有了新的含义。
Flink 四 动态表
文报的博客
03-29 2503
    这一章说一下Flink动态表的概念。阿里的一篇文章，可以先看看会对动态表有一个模糊的概念。动态表就是一个根据流在动态变化的表。从阿里的例子可以看出，当一个表Stream发生改变的时候，就会引起Keyed Table这张表的一个动态变化，表Stream是一个无法撤回的表，Stream表是只能不停增加的一张表，但是Keyed Table 会根据Stream中数据的增长的变化来修改自己count...
Flink之动态表 (Dynamic Table)
doraemonjtr的博客
07-05 2057
Flink之动态表
Flink动态表的连续查询
02-24
越来越多的公司采用流处理，并将现有的批处理应用迁移到流...Flink的核心流处理API，DataStreamAPI，非常具有表现力，并且为许多常见操作提供了原语。在其他特性中，它提供了高度可定制的窗口逻辑，不同表现特征下的
Flink动态表和时态表总结
weixin_41197407的博客
05-19 1990
动态表 动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询 注意事项 动态表首先是一个逻辑概念。在查询执行期间不一定(完全)物化动态表 在流上定义的表在内部没有物化 连续查询 一个不会
Flink系列-动态表
似水_逆行的博客
09-11 1382
Flink，动态表，dataStream，持续查询
Flink：动态表上的连续查询
大数据星球-浪尖
06-25 5136
用SQL分析数据流越来越多的公司在采用流处理技术，并将现有的批处理应用程序迁移到流处理或者为新的应用设计流处理方案。其中许多应用程序专注于分析流数据。分析的数据流来源广泛...
Flink流之动态表详解
about云
01-18 2932
问题导读1.动态表有什么特点？2.流处理与批处理转换为表后有什么相同之处？3.动态表和连续查询是什么关系？4.连续查询本文列举了什么例子？5.Flink的Table AP...
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
zhengzaifeidelushang的博客
12-31 3248
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
Flink SQL 动态表
记录点点滴滴
06-05 806
动态表 (Dynamic Tables) : 当流有新数据到来，表就会插入一行持续查询 : 每来个数据, 就会触发查询，当前动态表的所有数据。
Flink SQL之动态表
蔡政洁的博客
04-08 1294
目录（1）动态表（2）在流上定义表（3）连续查询（4）表到流的转换 （1）动态表 动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。 查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询。 需要注意的是，连续查询的结果在语义上总是等价于以批处理
Flink 动态表 (Dynamic Table) 解读
Laurence的技术博客
02-05 2849
根据过去在流上维持状态的编程经验，我们可以深刻地体会到：Dynamic Table 的本质其实是基于 changelog 数据流维持的一个流上的状态（State）！ 动态表是 Flink 能以 SQL 驱动和操纵流式处理的基础，也是 Flink 实现 ”批流一体“ 的一项内在的技术支撑。简单地说，它的思想就是：将一个”流“抽象成一张”无界”的数据表，这样就可以在上面施加 SQL 操作了。静态的关系表和数据流有可以类比的地方，这是能将两者映射在一起的理论基础，同时，它们之间也有难以弥合的差异，所以在某些方面
FLINK SQL动态表&连续查询
最新发布
王小工小工历程
10-11 2209
使用Flink支持的连接器（如Kafka、JDBC、HDFS等）来配置数据源。这些连接器允许Flink从外部系统读取数据，并将其转换为Flink内部的数据流。在Flink SQL中，使用CREATE TABLE语句来定义动态表。动态表是对数据流的一个连续视图，能够反映数据流的最新状态。
flink动态表的概念详解
weixin_67450855的博客
04-23 1092
传统的数据库SQL和实时SQL处理的差别还是很大的，这里简单列出一些区别：尽管存在这些差异，。物化视图。物化视图定义为SQL查询，就像常规虚拟视图一样。与虚拟视图相比，物化视图缓存查询的结果，使得在访问视图时不需要执行查询。缓存的一个常见挑战是避免缓存提供过时的结果。物化视图在修改其定义查询的基表时会过时。Eager View Maintenance是一种在更新基表后立即更新实例化视图的技术。有了上面的基础，下面可以介绍一下动态表的概念了。
Flink TableAPI和SQL（四）基本 API（三）表的操作
weixin_45417821的博客
05-06 1000
文章目录创建表表的查询输出表全部展示 创建表 为了方便地查询表，表环境中会维护一个目录（Catalog）和表的对应关系。所以表都是通过 Catalog 来进行注册创建的。表在环境中有一个唯一的 ID，由三部分组成：目录（catalog）名，数据库（database）名，以及表名。在默认情况下，目录名为 default_catalog，数据库名为default_database。所以如果我们直接创建一个叫作 MyTable 的表，它的 ID 就是： default_catalog.default_databa
Apache Flink流处理：SQL支持与动态表连续查询
Apache Flink 动态表的连续查询是其流处理能力的一个关键特性，它允许用户对不断更新的数据流进行实时分析。动态表的概念引入了连续查询，使得在数据流上的计算可以持续进行，随着新数据的到来不断更新结果。这种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值