jz1993的博客

Flink程序的基本构建块是streams和transformations（注意，DataSet在内部也是一个stream）。一个stream可以看成一个中间结果，而一个transformations是以一个或多个stream作为输入的某种operation，该operation利用这些stream进行计算从而产生一个或多个result stream。 在运行时，Flink上运行的程序会被映...

package com.scn; import java.util.Properties; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datas...

自定义的timestamp以及watermark的方式 1）实现接口AssignerWithPeriodicWatermarks 接口将会周期性发送Watermark 实现接口AssignerWithPunctuatedWatermarks 接口根据一些到达数据的属性，例如一旦在流中碰到一个特殊的element便发送Watermark。 AscendingTimestampExtracto...

如果您正在构建实时流式应用程序, 则事件时间处理（Event Time processing）是您迟早要使用的功能之一。由于在大多数实际用例中消息到达了顺序, 因此您所构建的系统应该有某种方式来理解消息可能会迟到并相应地处理它们的事实。在这个博客文章中, 我们将了解为什么需要事件时间处理以及如何在 ApacheFlink 中启用它。 EventTime 是在现实世界中发生事件的时间, Proce...

窗口分类可以分成： 1）翻滚窗口（Tumbling Window，无重叠） 2）滚动窗口（Sliding Window，有重叠） 3）会话窗口（Session Window，活动间隙） 窗口可以是时间驱动的（Time Window，例如：每30秒钟），也可以是数据驱动的（Count Window，例如：每一百个元素）。 raw data stream 代表用户的购买行为流，圈中的数字代...

https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/datastream_api.html https://blog.youkuaiyun.com/luoyexuge/article/details/53014703 https://blog.youkuaiyun.com/luoyexuge/article/details/53014703

package com.suning.pcdnas.flink.job; import com.alibaba.fastjson.JSON; import com.suning.pcdnas.flink.model.BandwidthTime; import com.suning.pcdnas.flink.model.GatherInfo; import com.suning.pcdnas.f...