cjlion的专栏

1.知识点scala输入输出样例类 keyBy并行度为1计算UV的技巧map(data => ("uv", data.userId))..keyBy(_._1) keyBy并行度>1计算UV的技巧 自定义MapFunction，随机自定义key+"uv"Random.nextString(10) + "uv" WindowedStream.trigger的使用 trigger触发器，每来一条数据直接清空窗口，放到redis进行计算...

xxxx

1.知识点2.业务目标3.流程心法4.模块详解4.1 创建输入输出样例类4.2 主object实现4.2.1 创建执行环境并添加数据源4.2.2 Datastream map转换为输入样例类4.2.3 处理逻辑（1）----过滤PV以itemid分组，设置滑动窗口返回一个WindowedStream，调用其aggregate方法,分组计数4.2.4处理逻辑（2）----分组排序取TopN4.3 完整代码...

1.知识点如何定义scala样例类 如何设置事件时间语义,给stream赋一个时间特征 如何添加文件source和kafka source 如何提取业务时间戳并设置为自增watermark 如何使用aggregate(AggregateFunction，WindowFunction),预聚合然后再进行窗口内统计 如何使用KeyedProcessFunction进行topN的计算 如何创建状态和获取状态 如何使用定时器OnTimer进行事件触发2.业务目标每隔 5 分钟...

1.知识点scala样例类 flink读文件 assignAscendingTimestamps水位线 KeyedProcessFunction<K, I, O>使用 flink状态编程之键控状态 flink定时器的创建 ctx.timerService().registerProcessingTimeTimer(ts)flink定时器的触发操作,一般可以对状态进行清空 override def onTimer(timestamp: Long, ctx: Ke...

1.知识点scala样例类 计算pv时的key的处理方式。 1）并行处理 (解决数据倾斜问题) 先map(new MyMapper())//第二种方式：自定义mapper，生成一个随机生成的key 再以窗口结束时间做key分组求和 2) 并行度为1时，结合timeWindowAll如何处理（容易数据倾斜）MapFunction的的使用 AggregateFunction预聚合函数的使用 W...

1.知识点RichSourceFunction-自定义生成测试数据 自定义ProcessWindowFunction[IN, OUT, KEY, W <: Window] 设置水印之assignAscendingTimestamp 2.业务目标 每5秒钟计算前1小时或1天的各渠道下的各行为数据 窗口：1天 步长：5s 维度：渠道(appstore、weibo、weixin、tieba)、行为(浏览、下载、安装、卸载) 输出格式:...