Flink 时间语义与watermark

已于 2022-03-26 11:09:27 修改
阅读量5.1k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： flink 入门到精通 文章标签： flink时间语义 flink水位线 flink watermark
于 2022-03-24 20:10:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/123719486
本文详细介绍了Flink的时间语义，包括Event Time、Ingestion Time和Processing Time，并强调了Event Time的重要性。文章还探讨了乱序数据对处理的影响，以及如何通过Watermark机制处理乱序事件，确保窗口计算的准确性。最后，阐述了Watermark的特点、引入方式和设定方法。

时间语义分类

  • Event Time：事件创建的时间；
  • Ingestion Time：数据进入Flink的时间；
  • Processing Time：执行操作算子的本地系统时间，与机器相关；

哪种时间语义更重要

1、不同的时间语义有不同的应用场合 ；

2、我们往往更关心事件时间（Event Time）；

3、某些应用场合，不应该使用 Processing Time；

4、Event Time 可以从日志数据的时间戳（timestamp

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink入门（5）】Flink的时间语义与Watermark
小C的博客
06-07 1003
flink中有3种时间语义，这里主要讲EvenTime事件时间，从数据的时间戳中提取，属于事件创建的时间，区别于数据到达时间（Ingestion Time）和处理时间（Processing Time）。 Watermark（水位线）是一种处理乱序数据的机制，相当于扩宽window窗口以处理迟到数据。.......................................
详解 Flink 的时间语义和 watermark
weixin_44480009的博客
06-08 1352
Watermark 是一种使用延迟触发 window 执行来处理乱序数据的机制原理：当设置 Watermark = t 时 (即延迟时长为 t)，则 Flink 每一次都会获取已经到达的数据中的最大的 EventTime，然后判断 maxEventTime - t 是否等于某一个窗口的触发时间，如果相等则认为属于这个窗口的所有数据都已经到达，这个窗口被触发执行关闭，也可能存在数据丢失。
Flink 时间语义和Watermark
寒暄的博客
02-19 384
时间语义 Flink有三种时间语义，即 Event Time（事件时间）：事件创建的时间 Ingestion Time（摄入时间）: 数据进入Flink集群的时间 Window Processing Time（处理时间）：执行操作算子时的本地系统时间，与机器相关。 理想情况下事件时间和处理时间是没有延迟的，即事件产生即被处理，如同下图虚线所示，但是现实中因为网络波动，设备故障等会出现延迟，就如同下图的红线一样。 不同的时间语义有不同的应用场合，但是有波动的处理时间用起来肯定很麻烦，所以我们最关心的是
Flink时间语义与Watermark
qq_36250202的博客
10-22 357
一、Flink时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据 中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的...
Flink中的时间语义和watermark
weixin_45781143的博客
07-23 366
先了解两个概念 首先要先知道时间语义和watermark 是什么 时间语义 在flink的数据处理流程中，有三个重要的时间概念，如上图所示分别是 Event Time：事件创建的时间（也就是数据生成的时间） Ingestion Time：数据进入Flink的时间 Processing Time：对数据执行计算的时间，为本地系统时间与机器相关 在flink中有这三种时间语义，在默认情况下flink是按照Processing Time的时间来输出数据，但是往往由于分布式，并行度和网络拥挤的原因，流式数据传
【Flink】时间语义和WaterMark
HR的博客
02-11 1249
时间语义和WaterMark时间语义WaterMark 时间语义 在Flink中时间可以分为三种，分别是 1️⃣：Event Time：事件创建的时间 2️⃣：Ingestion Time：数据进入Flink的时间 3️⃣：Processing Time：执行操作算子的本地系统时间，与机器相关 谈这三个时间主要是为了引出watemark，因为很多场景下，事件发生的时间事件时间是我们业务所关心的，基于事件时间计算，采用某种策略，则无论是采用实时流数据还是历史数据，都可以保证结果是一致的为了更生
【FLink-11-Flink相关概念-Flink时间语义和waterMark】
weixin_38136584的博客
01-18 708
FLink-11-Flink相关概念-Flink时间语义和waterMark
聊聊Flink：Flink中的时间语义和Watermark详解
最新发布
riemann_的博客
11-18 1284
该篇主要讲Flink中的时间语义、Flink 水印机制以及Flink对乱序数据的三重保障。
【Flink篇07】Flink之时间语义和WaterMark1
08-04
在Flink的流处理框架中，时间语义是至关重要的概念，主要分为三种类型：Event Time、Ingestion Time和Processing Time。理解这些时间语义对于正确处理实时数据流至关重要。 1. Event Time：事件时间是事件实际发生...
Flink的时间语义和Watermark
fighting
07-28 1603
1 时间语义    数据迟到的概念是：数据先产生，但是处理的时候滞后了    在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：    Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。    Ingestion Time：是数据进入Flink的时间。    Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Process
Flink时间语义和watermark
勇心在馨
12-18 598
一、时间语义 Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行算子操作的本地系统时间，与机器相关 设置时间语义 StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); ...
Flink-时间语义以及WaterMark
clearlxj的博客
08-31 297
Flink 中的时间语义 在 Flink 的流式处理中,会涉及到时间的不同概念,如下图所示 Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time:是数据进入 Flink 的时间。 **Processing Time:是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是 Processing Time。**处理数据的时间。 例如,一条日志进
12-flink-1.10.1-Flink中的时间语义和watermark
m0_37813354的博客
10-07 472
1 Fink 中的时间语义 Event Time ：事件产生的时候的时间，比如日志访问日志产生的时间 Ingestion Time: 数据进入flink的时间 Processing Time：执行操作算子的本地系统时间，与机器无关 1.1 哪种时间语义更重要 不同的时间语义有不同的应用场景 我们往往更关心事件的时间（Event Time） 用星球大战电影拍摄举例说明 比如上面的星球大战系列电影，如果我们想统计的的是事件发生的先后顺序呢那就要关注电影情节里故事发生的...
八 Flink 中的时间语义和watermark
andy的博客
08-10 515
文章目录1 时间（Time）语义2 在代码中设置 Event Time3 水位线3.1 水位线的概念3.1.1 乱序数据的影响3.1.2 水位线（Watermark）3.1.3 watermark 的特点3.1.4 watermark 的传递3.1.5 水位线计算公式3.1.6 watermark 的引入3.1.6.1 TimestampAssigner3.1.6.2 实例4 watermark 的设定 1 时间（Time）语义 Event Time：事件创建的时间 Ingestion Time：数据进入
Flink学习9-WaterMark
qq_40342691的博客
08-01 163
这个时候再输入(2999,a,1)，(4999,a,1)，但由于前面配置了allowedLateness等于3秒，所以第一个窗口会在2+6+3=11秒后关闭，再输入(11000,a,1)触发触发第一个窗口计算，会在累加(2999,a,1)，(4999,a,1)求和的结果，即(a，6)。计算完毕并关闭窗口。这是会计算(1000,a,1)，(3000,a,1)，(2000,a,1)，(5999,a,1)的求和结果，即(a，4)。这里我第一条数据输入(1000,a,1)，那么第一个窗口会计算[0,6000)。
Flink原理：这一次带你彻底搞懂watermark
foureyes
04-23 1733
文章目录背景定义生成1. 生成时机2. 生成方式更新规则1. 单并行度2. 多并行度传播窗口触发时机分析1. 示例一2. 示例二3. 示例三如何设置最大乱序时间延迟数据处理1. 定义2. 触发条件3. 示例延迟数据重定向 背景 我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，...
Flink--Watermark（水位线）与时间语义
MLwodejia的博客
02-25 437
Flink--Watermark（水位线）与时间语义时间语义设置Event TimeWatermark（水位线）Watermark 的传递、引入和设定watermark 的传递watermark 的引入TimestampAssignerwatermark 的设定 时间语义 Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关 问：哪种时间语义更重要？ 答：不同时间语义有不同的应用场合，更关心
Flink流计算编程--watermark（水位线）简介
热门推荐
lmalds的专栏
09-30 6万+
1、watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016
Flink1.12 使用WatermarkStrategy生成时间戳
RonieWhite的博客
03-05 5608
Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks(AssignerWithPunctuatedWatermarks)以及assignTimestampsAndWatermarks(timestampAndWatermarkAssigner)均不再被推荐使用，这里是根据官网给出的小例子，仅供参考： package demo; i
Flink时间语义解析：EventTime与Watermark机制
"本文主要介绍了Flink中的时间语义，包括EventTime、IngestionTime和ProcessingTime，并重点讲解了EventTime的引入以及Watermark机制，以解决流处理中的数据乱序问题。" 在Flink的流处理框架中，时间语义是至关重要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值