flink水印机制

一.flink区别

水印机制

使用水印解决网络延迟问题

水印（watermark）就是一个时间戳，Flink可以给数据流添加水印，可以理解为：收到一条消息后，额外给这个消息添加了一个时间字段，这就是添加水印。

• 水印并不会影响原有Eventtime
• 当数据流添加水印后，会按照水印时间来触发窗口计算
• 一般会设置水印时间，比Eventtime小几秒钟
• 当接收到的水印时间 >= 窗口的endTime，则触发计算

二. Flink基石

Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。

三.storm与flink区别

综合上述测试结果，以下实时计算场景建议考虑使用 Flink 框架进行计算：

• 要求消息投递语义为 Exactly Once 的场景；
• 数据量较大，要求高吞吐低延迟的场景；
• 需要进行状态管理或窗口统计的场景

具体参见https://blog.youkuaiyun.com/huangshulang1234/article/details/78858467

流计算框架 Flink 与 Storm 的性能对比