Flink Sql 中 Watermark 使用方式

已于 2022-02-10 15:19:30 修改
阅读量6k 收藏 4
点赞数 2
文章标签： flink sql 大数据
于 2022-02-10 15:01:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Y_FC_EMBEDD/article/details/122860469
版权
本文介绍了如何在Flink SQL中设置和使用Watermark处理事件时间，包括创建env和tableEnv环境，定义带有Watermark的Source数据源，通过滑动窗口Hop测试其正确性，以及使用Window TopN实现业务逻辑。强调了在定义事件时间时的数据类型转换操作的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、创建 env 和 tableEnv 环境

2、利用 Sql 定义 Source 数据源（并在数据源中定义Watermark和event-time），连接Source

3、利用滑动窗口Hop测试

最低0.47元/天 解锁文章
LlnkTo
关注
大数据Flink（七十八）：SQL 的水印操作（Watermark）
Lansonli（蓝深李）的博客
09-12 1128
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。可以看到，设置了最大允许乱序时间后，WaterMark要比原来低5秒，可以对延迟5秒内的数据进行处理，窗口的触发条件也同样会往后延迟关于延迟时间，请结合业务场景进行设置。
大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）
Lansonli（蓝深李）的博客
09-14 2483
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。但是由于网络、分布式等原因，会导致数据乱序的情况。通过watermark来解决，简单来说就是延迟窗口关闭的时间，等一会迟到的数据，窗口关闭不在依据数据的时间，而是到达的watermark的时间。
Flink-SQL 设置水位线（Watermark）和开窗（window）示例
m0_48379126的博客
01-19 5359
代码 import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
Flink深入浅出之04：时间、水印、Table&SQL
最新发布
我的博客
03-07 1081
在Spark中有DataFrame这样的关系型编程接口，因其强大且灵活的表达能力，能够让用户通过非常丰富的接口对数据进行处理，有效降低了用户的使用成本。Flink也提供了关系型编程接口 Table API 以及基于Table API 的 SQL API，让用户能够通过使用结构化编程接口高效地构建Flink应用。同时Table API 以及 SQL 能够统一处理批量和实时计算业务，无须切换修改任何应用代码就能够基于同一套 API 编写流式应用和批量应用，从而达到真正意义的批流统一。
【Flink】Watermark 在 Flink SQL 中的用法
在路上的专栏
09-05 1553
Flink SQL 中的 Watermark 机制简化了对无序数据的处理。通过定义 Watermark，Flink 可以基于事件时间准确地处理乱序数据，确保数据分析结果的准确性。Watermark 的灵活性允许你根据不同场景定制延迟策略，适应现实数据流的复杂性。
FlinkSQL的Watermark机制和Checkpoint机制
sijiwang95的博客
04-12 2083
Watermark机制，就是水印机制，也叫做水位线机制。就是专门用来解决流式环境下数据迟到问题的。
FlinkSQL 水印（Watermark）的使用和编程实例
PixelLancer的博客
09-15 709
在事件流处理中，我们通常需要根据事件的发生时间进行计算和分析，而事件的发生时间并不总是与事件到达处理系统的时间一致。由于网络传输延迟、数据乱序等原因，事件的到达顺序和事件的实际发生顺序可能存在差异。为了解决这个问题，Flink 引入了水印的概念。水印是一种特殊的事件，它带有一个时间戳，并用于表示在该时间戳之前的事件已经全部到达。换句话说，水印标识了事件时间轴上的一个时间点，该时间点之前的事件都已经到达。水印的引入可以帮助我们处理乱序事件、处理延迟数据以及触发窗口计算等操作。
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目...
Flink 时间属性及 WATERMARK 水印
实践出真知
08-03 1402
水位线的生成是一个基于事件时间的机制，主要目的是处理乱序数据，确保窗口计算的准确性。通过设定一个最大延迟时间，水位线可以有效地处理乱序事件，并在适当的时间点触发窗口计算。
flinksql watermark 文档
yy的博客
07-23 465
https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/dev/table/sql/create/#watermark
在Flink SQL中使用watermark进阶功能
weixin_45249411的博客
03-24 2247
在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic
FlinkSql窗口概念，及水印使用
斧王，不能再斩杀了吗的博客
03-06 1665
双流join的情况下，watermark的获取方式为： 1.分别计算俩条流的watermark 2.然后比对俩条流的watermark选取小的 ->CombineWatermark = min(watermark1,watermark2) 双流join关于的Interval Join的实现 Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流
Flink Sql 定义watermark注意事项: java.time.format.DateTimeParseException
雾岛与鲸的博客
03-02 2604
Flink版本: 1.12.0 异常: java.time.format.DateTimeParseException kafka数据源声明案例: CREATE TABLE user_actions_source ( -- `event_time` TIMESTAMP(3) METADATA FROM 'timestamp', -- `partition` BIGINT METADATA VIRTUAL, -- `offset` BIGINT METADATA VIRTUAL, `user_id
Flink 1.10.0 SQL DDL中如何定义watermark和计算列
JasonLee实时计算
02-26 1万+
随着Flink1.10.0版本的发布,在SQL上一个重大的优化是支持了watermark语义的计算,在之前的Flink1.9.x版本中是不支持的,当时只能用SQL DDL进行proces...
Flink详解系列之五--水位线（watermark）
wr_java的博客
04-13 2307
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
Flink流计算编程--watermark（水位线）简介
热门推荐
lmalds的专栏
09-30 6万+
1、watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016
Flink之Watermark详解
weixin_44519496的博客
10-29 414
在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，比如公司组织春游，规定周六早晨8：00 ~ 8:30清查人数，人齐则发车出发，可是总有那么个同学会睡懒觉迟到，这时候通常也会等待20分钟，但是不能一直等下去，如果到了20分钟则认为，想自己在家过周末，不参与春游活动了，不会继续等待了，直接出发。 这种机制跟这里要讲的watermark机制是一个意思。指的是，由于网络延迟等原因，一条数据会迟到计算，比如使用event time来划分窗口，我们知道窗口中的数据是计算一段时间的数据，如果一个数据来晚了，它的时间
flink关于watermark的测试
weixin_43039757的博客
11-16 297
定义一个kafka的数据源WITH (根据计算字段event_time_watermark生成5秒延迟的watermark。
Flink1.10入门：Watermark机制及实例讲解
陆继森的技术专栏
04-12 907
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 一、Watermark简介 Watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp.watermark是用于处理乱序...
flinksql中watermark for是什么作用
05-26
使用Watermark for，可以让Flink SQL自动处理乱序事件的问题，以便正确地进行窗口计算和聚合操作。在Flink SQL中，Watermark for可以通过对时间戳字段进行处理来生成Watermark，保证数据的正确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值