zzy7075的专栏

Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入Flink的时间。Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。window分为两大类：CountWindow：按照指定的数据条数生成一个Window，与时间无关。TimeWindow：按照时间生成

翻阅了很多的 水位和窗口 的博客文章，由于本来概念就很晦涩，光看很难一下子理解，所以本文用实际数据，做了比较详尽的梳理。可以跟着步骤一步步操作，亲自体会水位在处理乱序数据的时候发挥的重要作用，文末有代码地址，下载下来在idea中跑起来运行。一、数据乱序的现象实时计算中，对数据时间比较敏感，有 EventTime 和 ProcessTime 之分，一般来说 EventTime 是从原始消息中提取出来的，ProcessTime 是 Flink 自己提供的。在实际应用中，数据源往往很多个且时钟无法严格

个人网站将实时更新：https://lulaoshi.info/flink/chapter-time-window/window.html我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Windowstream .keyBy(.

一.Flink的下载安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载[admin@node21 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz[admin@node21 software]$ ll-rw-rw-r--..

主要分成两部分，yarn的安装与flink的安装， 共3台机器10.10.10.12510.10.10.12610.10.10.127----------------------------------------------------yarn 安装wget 'http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz'tar -zxvf hadoop-2.8.5.tar.gz -C /h