- 博客(5)
- 收藏
- 关注
原创 flink的时间语义和watermark
而定时器等到再一次触发的时候,他会得到当前最大的时间戳然后向下传递,那么,数据和水位线的传递不是异步的,只是数据和水位线来的先后顺序不一样。8. 下游的水位线的产生是这样的,当数据流经prosses算子的时候,算子会判断这是一个什么类型的数据,如果是水位线类型的数据,就会选择出最大的数据作为当前的水位线向下游传递,如果是数据类型就会经过算子的处理逻辑,继续向下运行,水位线是推动事件事件的。5. watermark是单调递增的推荐时间的一种标记,他也是一种数据,在数据流中行走,以推进各个算子的时间。
2023-08-26 18:46:31
90
原创 flink窗口
1)他们都是窗口函数,都是在划分窗口之后才会调用的函数,并且都是增量聚合函数,增量聚合函数就是窗口每来一条数据就进行聚合。2)他们的区别在于,aggregate的输入类型值,中间结果值,返回结果值可以是三种类型的数据,但是reduce只能是输入类型相同和输出是统一类型的数据。4. 窗口中如果设置的水位线无乱序程度,但是窗口设置有允许迟到时间,当数据超过允许迟到的时间后,再进行侧流输出,sideoutputlatebate。再去调用具体的窗口计算逻辑,聚合算子或者apply或者poross方法。
2023-08-26 18:45:56
115
原创 flink的checkpoint机制
6. 对齐快照,如果有多条输入流,流向同一个算子,那么这种方式的话,来的快的那条流就会等待慢的那条流,那么快的那条流的数据还会继续来,只是先放到缓存中,等到慢的栅栏到了,进行state对齐异步快照,做异步快照的时候,会先处理缓存的数据再去处理输入通道的数据。4. jobmannager会定期的去发送barrari给源端算子,barrari经过算子拍照成功之后会发送ack信息通知jobmannager,每个算子都回复ack信息之后,jobmannager会再次通知各个算子拍照完成。
2023-08-26 18:45:00
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人