xsdxs的博客

1. 说明 好久不写 优快云 blog，早转战Gitbook的。这次记录文章同时，顺带刷下存在感。下面进入正题： 本文主要关于Flink timeWindow 窗口边界和以及延时数据处理的调研。读这篇文章需要对Flink Eventtime + WaterMark + Windows 机制有个基础了解。其次最好先阅读Flink流计算编程–watermark（水位线）简介 这篇文章。本文是在阅...

1. 说明 Flink 一般都是用于realtime 计算的，不过其中的 DataSet 也提供了batch API。本人在项目中也好奇试用了下，其中遇到一个需求就是把DataSet的数据Sink到 Kafka。 需要注意的是Flink 官方的DataSet是不提供Kafka Sink API的，需要自己实现。当然也分 DataSet 数据量的大小，有不同的实现方式。 2. 小数据量 这个...

1. 介绍 参考Session Windows。此外也可阅读Flink 原理与实现：Session Window。以下是正文： 会话窗口分配器按活动会话对元素进行分组。与翻滚窗口和滑动窗口相比，会话窗口不重叠并且没有固定的开始和结束时间。当会话窗口在一段时间内没有接收到元素时，即当发生不活动的间隙时，会话窗口关闭。会话窗口分配器可以设置静态会话间隙和动态会话间隙。 一共有四种形式的 Sess...

1. 说明 countWindows 包括滚动窗口类型和滑动窗口类型。以下通过代码和输出来说明 countWindows()逻辑。数据源代码： public static class StreamDataSource extends RichParallelSourceFunction<Tuple2<String, String>> { pr...

Flink Stream Windows Join 1. 说明 参考Flink Stream Joining。不过就我实践下来，感觉这官方文档写的也不全面，所以我就来填填坑的。文中给出Windows Join的代码一般形式如下： stream.join(otherStream) .where(<KeySelector>) .equalTo(<KeySelector...