Lpf的博客

package com.thoughtworks.windowimport java.util.Propertiesimport com.thoughtworks.source.SensorReadingimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.s...

1）从Collection接入数据/** * 从集合中采集数据 */object FromCollection { def main(args: Array[String]): Unit = { // 1. 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecution...

先说下模拟场景吧，统计日志数据中每分钟的IP访问量，取出访问量最大的五个值，每五秒更新一次解决思路：1、将日志中的时间转换为时间戳，作为EventTime2、所以调用assignTimestampsAndWatermarks将排序EventTime，并设置延迟watermark为60S3、构建滑动窗口4、自定义预聚合函数aggregate将数据转换为UrlViewCount格式5、自定...

本周头疼少了一更，下周补上FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。 它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。本文描述了Flink CEP中可用的API调用。 首先介绍Pattern API，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事件序列并对其进行操作。然后，我们将介绍CEP库在处理事件时间延迟时所做的假设。首先是要在你...