
Flink
史正想
这个作者很懒,什么都没留下…
展开
-
时间语义与 Wartermark
1Flink 中的时间语义EventTime:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事件时间戳。例如:点击网站上的某个链接的时间IngestionTime:某个Flink节点的source operator接收到数据的时间,例如:某个source消费到kafka中的数据ProcessingTime:是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是 Processing T.原创 2020-10-29 21:43:36 · 320 阅读 · 0 评论 -
Flink 中的Window
1Flink中的Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而 window 是一种切割无限数据为有限块进行处理的手段。2 Window 可以分成两类:ØCountWindow:根据窗口中相同 key 元素的数量来触发执行,执行时只计算元素数量达到窗口大小的 key 对应的结果。ØTimeWindow:将指定时间范围内的所有数据组成一个 window,一次对一个window ...原创 2020-10-29 21:53:24 · 198 阅读 · 0 评论