weixin_46376562的博客

RealtimeMoneyCountAndCategoryTop

以上两种都是原本就提供的，显然第二种更便于下游进行数据处理，那么自定义的会更好,可读性更强。

CDC Connectors for Apache Flink 是一组用于Apache Flink 的源连接器，使用变更数据捕获 (CDC) 从不同数据库获取变更。用于 Apache Flink 的 CDC 连接器将 Debezium 集成为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。...

就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额

flink table & sql ---- wordcount

入门操作

Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成：稳定存储（列入 HDFS，S3，…) 上包含二进制文件的目录（通常很大），和元数据文件（相对较小）。 稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以（相对路径）的形式包含（主要）指向作为 Savepoint 一部分的稳定存储上的所有文件的指针。

flink checkpoint设置

添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。使用OutputTag+allowedLateness解决数据丢失问题

实际开发中我们希望基于事件时间来处理数据，但因为数据可能因为网络延迟等原因，出现了乱序或延迟到达，那么可能处理的结果不是我们想要的甚至出现数据丢失的情况，所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题！也就Watermaker水印机制/水位线机制......

来源于flink官网

序列与反序列化 kafka 数据Flink Kafka Consumer 需要知道如何将 Kafka 中的二进制数据转换为 Java 或者 Scala 对象。KafkaDeserializationSchema 允许用户指定这样的 schema，每条 Kafka 中的消息会反序列化。以上代码采用最简单的SimpleStringSchema。为了方便使用，Flink 提供了以下几种 schemas：TypeInformationSerializationSchema（和 Typ...

自定义 MySQL sink

rebalence平衡分区

数据分流

union 与 connect 操作，区别

数据的基础转换

flink读取mysql数据

自定义flink数据源