Flink

1、Flink中的Time

在Flink的流式处理中，会涉及到时间的不同概念

(按照顺序分析：数据先进入Flink——>算子执行——>数据生成)

a、Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳【数据生成的时间】

b、Ingestion Time：【是数据进入Flink的时间】

c、Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。  【算子执行的时间】

例如：

【a】日志内容如示：2017-11-02 18:37:15.624   INFO Fair over to rm2

【b】一条日志进入Flink的时间为2017-11-12 10:00:00.123  

【c】到达window的系统时间为 2017-11-12 10:00:01.234，

对于业务来说，要统计1min内的故障日志个数，哪个时间是最有意义的？----- eventTime，因为我们要根据日志的生成时间进行统计。

2、Flink中的Window

Window可以分为两类

1、CountWindow:按照指定的数据条数生成一个Window，与时间无关【具体分为两种】

（1）：滚动窗口（TumblingEventTimeWindows）将数据依据固定的窗口长度对数据进行切片，时间对齐，窗口长度固定，没有重叠

（2）：滑动窗口（SlidingEventTimeWindows）

2、TimeWindow：按照时间生成Window【具体分为三种】

简言之：例如我们设置5秒时间窗口，那么在这5秒中无论是否产生数据，都会5秒 执行一次

（1）：滚动窗口（TumblingEventTimeWindows）

（2）：滑动窗口（SlidingEventTimeWindows）

（3）：会话窗口（EventTimeSessionWindows）

3、EventTime与Window

在Flink的流式处理中，绝大部分的业务都会使用eventTime，一般只在enentTime无法使用时，才会被迫使用Ingestion Time或者Processing Time，如果要是用EventTime，那么需要引入EventTime的时间属性：

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

//从调用时刻开始给env创建的每一个stream追加时间特征 //显示地定义time类型
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

Watermark:用于处理乱序事件的，而正确的处理乱序事件，通常使用Watermark机制结合window来实现。

只不过是延缓了事件触发的时间而已。

细节：每一个数据都是一个watermark，而每一条数据来的时候都会重新计算一便watermark，看看有没有合适的窗口能被触发。