不会飞的小龙人的博客

由于下游算子 watermark 的计算方式是取所有不同的上游并行数据源 watermark 的最小值，则其 watermark 将不会发生变化。简单来说，在Flink中kafka连接器会识别每个分片，并为每个分片创建对应Watermark水印，当上游Kafka某个分片在一段时间未发送事件数据，则对应的窗口时间内不会生成Watermark水印，则下游算子（Sink）接收上游的Watermark数据时，是按上游最小Watermark值来计算，则下游算子(Sink)不会发生变化，也就无法触发窗口算子事件；

示例，对电商实时订单进行聚合计算，分以下两个维度进行：1. 统计每 1 分钟的订单数量、用户数量、销售额、商品数；2. 统计每个分类的订单总数量、用户总数量（未去重）、销售额、商品数

本示例通过模拟上报数据展现玩家在游戏内的登录、退出、创角、升级等事件，从而了解游戏运营动态；玩家进入游戏后，通常游戏内会进行定时事件上报，后台通过上报数据分析不同的游戏热度。通过玩家在游戏内的行为事件，分析游戏内玩家的存活度或游戏粘性；

本章以模拟一个电商平台的日常订单数据统计系统为设计基础，将电商平台的实时订单通过 Flink 实时流计算能力，按聚合维度实时计算，输出订单流计算结果，再通过监控大屏展示，实时快速撑握电商平台订单数据趋势、分类占比、销量排行等，从而全局了解电商平台业务运行状态，为电商平台高层决策、运营、分析、成长等提供最基础、最实时的数据依据。

前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例，本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。

Checkpoint 检查点：使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以在 JOB 发生错误时对作业的状态和计算位置进行恢复。

GroupBy 算子：基于指定字段分组（类似于 SQL 中的 group by 分组），对数据分组结果进行聚合统计。

通过使用 Flink DataStream Connectors 数据流连接器连接到 Mysql 数据源，并基于 JDBC 提供数据流输入与输出操作；

通过使用 Flink DataStream Connectors 数据流连接器连接到 RabbitMq 消息队列中间件，并提供数据流输入与输出操作；

通过使用 Flink DataStream Connectors 数据流连接器连接到 Redis 缓存数据库，并提供数据流输入与输出操作；

通过使用 Flink DataSet Connectors 数据流连接器打开 csv 文件，并提供数据流输入与输出操作

通过使用 Flink DataSet Connectors 数据流连接器打开 txt 文件，并提供数据流输入与输出操作

通过使用 Flink DataStream Connectors 数据流连接器连接到 ElasticSearch 搜索引擎的文档数据库 Index，并提供数据流输入与输出操作；

通过使用 Flink DataStream Connectors 数据流连接器连接到 ElasticSearch 搜索引擎的文档数据库 Index，并提供数据流输入与输出操作；

Flink 为流式 / 批式处理应用程序的开发提供了不同级别的抽象。

使用 Tbale&SQL 与 Flink JDBC 连接器读取 MYSQL 数据，并用 GROUP BY 语句根据一个或多个列对结果集进行分组。

使用 Tbale&SQL 与 Flink JDBC 连接器从 MYSQL 数据库表中 SELECT 选取数据。

使用 Tbale&SQL 与 Flink JDBC 连接器将数据插入 MYSQL 数据库表

使用 Tbale&SQL 与 Flink Kafka 连接器从 kafka 的消息队列中获取数据

使用 Tbale&SQL 与 Flink Kafka 连接器将数据写入 kafka 的消息队列

使用 Tbale&SQL 与 Flink Elasticsearch Connector 连接器将数据写入 Elasticsearch 引擎的索引

Flink 为流式 / 批式处理应用程序的开发提供了不同级别的抽象。

sessionWindows 会话窗口：按不活跃时间切成不同分区窗口，并进行窗口计算

timeWindowAll 时间滚动窗口 (不分区时间滚动窗口【滑动窗口与滚动窗口的区别，在于滑动窗口会有数据元素重叠可能，而滚动窗口不存在元素重叠】)

timeWindow 时间窗口（滑动窗口【滑动窗口与滚动窗口的区别，在于滑动窗口会有数据元素重叠可能，而滚动窗口不存在元素重叠】）

countWindowAll 数量窗口 (不分区数量滚动窗口【滑动窗口与滚动窗口的区别，在于滑动窗口会有数据元素重叠可能，而滚动窗口不存在元素重叠】)

countWindow 数量窗口（滑动窗口【滑动窗口与滚动窗口的区别，在于滑动窗口会有数据元素重叠可能，而滚动窗口不存在元素重叠】）

示例环境示例数据源 （项目码云下载）Flink 系例 之 搭建开发环境与数据TimestampsAndWatermarks.java打印结果参考：Watermark 水印介绍：https://blog.youkuaiyun.com/hlp4207/article/details/90698296官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/event_timestamps_watermarks.html

示例环境示例数据源 （项目码云下载）Flink 系例 之 搭建开发环境与数据KeyedProcess.java打印结果

sum算子：获取一组数据流中的数值之和示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Sum.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.typ..

minBy聚合：获取一组数据流算子中最小的记录行（和min的区别，min是返回计算字段的最小值）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据MinBy.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.typeinfo.Types;import org.apa..

min聚合：获取一组数据流中最小的值（和max相反）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Min.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.com..

Aggregate算子：提供基于事件窗口进行增量计算的函数。（对输入窗口每个数据流元素递增聚合计算，并将窗口状态与窗口内元素保持在累加器中）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Aggregate.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.accu..

maxBy聚合：获取一组数据流算子中最大的记录行（和max的区别，max是返回计算字段的最大值）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据MaxBy.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.typeinfo.Types;import org.ap...

max聚合：获取一组数据流中最大的值示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Max.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.type..

Reduce算子：对数据流进行滚动聚合计算，并返回每次滚动聚合计算合并后的结果示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Reduce.javaimport com.flink.examples.DataSource;import org.apache.flink.api.common.functions.ReduceFunction;import org.a..

process算子：处理每个keyBy（分区）输入到窗口的批量数据流（为KeyedStream类型数据流）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Process.javaimport com.flink.examples.DataSource;import org.apache.flink.api.java.functions.KeySelector;im..

Apply算子：对窗口内的数据流进行处理示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Apply.javaimport com.flink.examples.DataSource;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tupl..

Connect算子：功能与union类似，将两个流（union支持两个或以上）合并为一个流，但区别在于connect不要求数据类型一致示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据Connect.javaimport com.flink.examples.DataSource;import org.apache.flink.api.java.tuple.Tuple..

SideOutput方法：（侧输出）从主数据流中根据outputTag获取额外的输出流（分流场景下使用）示例环境java.version: 1.8.xflink.version: 1.11.1示例数据源（项目码云下载）Flink 系例 之 搭建开发环境与数据SideOutput.javaimport com.flink.examples.DataSource;import org.apache.flink.api.java.tuple.Tuple3;import or..