tjq980303的博客

Flink的State与Rescale本文是关于对flink状态在任务rescale下面对的问题以及解决这些问题的设计以及代码实现状态状态类别flink中的状态主要分为两类， Keyed State和Operator State。其中Opertor State是以Operator 实例为粒度的状态，而Keyed State是以数据的key为粒度的，该key被划分到哪个Operator实例决定了这个Key的state在哪个Operator实例，而一个Operator实例是可以同时管理多个Keyed S

背景最近看了一个flink相关的issue，主要是在heartbeat来带上TaskManager的status作为payload，主要是为了解决TaskExecutor#updateTaskExecutionState会因为暂时的网络异常原因导致将TM的状态通知到JM失败的问题，如果是terminal state的通知失败会导致JM无法感知TM的结束。具体讨论细节请看issueissue地址: https://issues.apache.org/jira/browse/FLINK-17075flin

本文主要分析提交一个flink on yarn的任务的流程，以job模式为例子CliFront作为提交命令行的入口一个命令行runJob的整体调用链路如下run -> runProgram -> executeProgram -> ClusterClient.run其中yarn相关的流程就在runProgram方法中// 获取激活的customCommandLinefinal CustomCommandLine<?> customCommandLine =

Flink本地启动模式用户代码逻辑转换逻辑追踪client部分CliFront作为提交命令行的入口本地模式run调用链路run -> runProgram -> executeProgram -> ClusterClient.run -> prog.invokeInteractiveModeForExecutionExecutionEnvironment部分接下来就是用户代码里的逻辑了，以本地运行为例首先是执行用户调用的DataStream中的各种map re

Flink metrics最近根据flinkUI的接口追踪了一下blink的metric信息的查询过程，在这里记录一下入口首先我这里的入口指的是flink UI中的/jobs/:jobid这个rest接口，具体处理逻辑是在JobDetailsHandler，JobDetailsHandler的注册以及与path的绑定可以看WebMonitorEndpoint部分，这一块不是本文的具体内容，其中查询的逻辑为JobDetailsHandler.handleRequest。protected JobDet

最近看了读到了关于hadoop中yarn的编程模型的文章 http://dongxicheng.org/mapreduce-nextgen/programming-model/，想深入了解下它的事件机制是怎么实现的，就看了看其中的AsyncDispatcher类的源码，幸好该类涉及到的其它类不多，读起来也不算吃力我们先来看其继承关系，AsyncDispatcher继承了AbstractServ...

jstorm源码阅读汇总(一)将最近阅读jstorm的源码笔记汇总一下，主要包括jstorm的task，jstorm网络通讯，jstorm限流部分的代码jstrorm tasktask是storm中任务的实质，也就是业务逻辑的载体，首先Task实现了Runnable接口，那我们大致可以猜到task实际是在一个线程中不断了执行某些程序，看一下重写的run方法public void r...