Yuan_CSDF的博客

记录使用flink-streaming-platform-web平台化提交Flink任务。主要是记录通过这个工具提交flink任务的原理。 相关参考： gitee地址：flink-streaming-platform-web: 基于flink-sql的实时流计算web平台github地址：https://github.com/zhp8341/flink-streaming-platform-web1、idea本地开发 ...

1.以简单的FlinkSQL demo为例，进行Join的测试：object FlinkJoinDemo { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(10) env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime

1.使用FlinkSQL定时输出计算结果：计算每天的pv,uv，可以开一个24h的窗口，统计窗口内数据情况。但是这样有一个问题，flink sql没有办法直接设置trigger，所以只能等待窗口结束后才会有计算结果输出。这往往不是我们想要的，针对这种情况，有两种解决办法，一种是设置参数，提前输出计算结果；另一种办法是开一分钟窗口（根据自己输出频率来设定窗口）做初步聚合，然后根据日期做二次聚合；两种方式有一个区别，提前输出方式，因为窗口没有关闭，输出的数据是update，而二次聚合方式，因为窗口已经关

1.idea将Flink任务提交到远程Flink集群在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群：def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = { new StreamExecutionEnvironment(JavaEnv.createRemoteEnvi