混混的博客

在Flink中，实现从指定主机名和端口接收字符串消息，对接收到的字符串中出现的各个单词，每隔1秒钟就输出最近5秒内出现的各个单词的统计次数。代码实现如下：public class SocketWindowWordCount { public static void main(String[] args) throws Exception { /** 需要连接...

接着《Flink源码系列——一个简单的数据处理功能的实现过程》一文的结尾继续分析，在完成对数据流的转换操作之后，需要执行任务，这时会调用如下代码：env.execute("Socket Window WordCount");在StreamExecutionEnvironment中，这是一个抽象方法，具体的实现在其子类中，其子类StreamContextEnvironment的实现如下：...

接《Flink源码系列——获取JobGraph的过程》，在获取到JobGraph后，客户端会封装一个SubmitJob消息，并将其提交给JobManager，本文就接着分析，JobManager在收到SubmitJob消息后，对其处理逻辑。JobManager是一个Actor，其对接受到的各种消息的处理入口是handleMessage这个方法，其中对SubmitJob的处理入口如下：ove...

接《Flink源码系列——JobManager处理SubmitJob的过程》，在从JobManager中，将SubmitTask提交到TaskManager后，继续分析TaskManager的处理逻辑。 TaskManager是个Actor，混入了LeaderSessionMessageFilter这个trait，所以在从JobManager接收到JobManagerMessages.Leade...

接《Flink源码系列——获取StreamGraph的过程》获取到StreamGraph后，继续分析，如果通过获取到的StreamGraph来转化为JobGraph。转化逻辑在StreamingJobGraphGenerator这个类中，入口是createJobGraph(StreamGraph)方法。先是初始化了一个StreamingJobGraphGenerator的实例，StreamingJ...

1、Metric简介Flink对于指标监测有一套自己的实现，指标的统计方式有四种，这些指标都实现了Metric这个接口，而Metric这个接口只是一个标识，本身并没有定义如何方法接口，部分子类的继承关系如下所示。 从图中可以看出，Metric这个接口有四个直接子类，分别是： Gauge —— 最简单的度量指标，只是简单的返回一个值，比如返回一个队列中当前元素的个数； Cou...