qq_18218071的博客

flink 与 kafka 的分区分配策略

背景疑问1.一个窗口会不会变化？我们都知道flink有窗口和watermark的概念，当watermark大于窗口的endTime，将触发窗口中数据的计算，watermark是一个不断递增的时间戳，是不断变化的，如果我们假设一个窗口的开始时间和结束时间也是不断变化的，那么watermark就不好触发窗口计算。所以根据我们的假设，内心也是认为一个特定的窗口的开始和结束时间肯定是固定的。疑问2.窗口是怎么初始化的？如果一个特定的窗口是不会变化的，比如滚动窗口，我们在代码中只需要传入窗口的size，就可以

一、flink定时器机制源码解析1. 背景：什么是定时器，怎么使用定时器?1.1 什么是定时器（Timer）Timer（定时器）是flink提供的基于处理时间、事件时间定时触发执行的机制，应用场景类似于时间轮，往时间轮注册事件，等约定的时间后，时间轮把事件发送出来。我们在生产中常常用到定时器，比如当某个事件发生后，观察5分钟后，该事件是否发生状态改变，然后对事件进行相应的业务处理；在快递行业，客户下单，如果在30分钟内，快递小哥没有揽收，就会触发超时揽收任务，进行紧急调度，达到尽快揽收的目的，保障客

flink的JobGraph生成源码分析一、JobGraph简介JobGraph是基于StreamGraph生成的，主要的工作就是将多个符合条件的StreamNode链接chain在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。那么本节的主要问题是：怎么判断节点是否可以连接在一起，即1和2怎么连接多个StreamNode怎么构建JobGraph的节点，即source和filter怎么构建新节点怎么构建JobGraph的边，即4和5怎么找到和生成的二、生

Flink之StreamGraph生成源码分析一、StreamGraph是什么？是用户提交的代码，直接生产的数据流图二、生成StreamGraph的过程2.1 触发执行生成StreamGraph程序执行即env.execute("Java WordCount")这行代码，这里以RemoteStreamEnvironment环境为例@Overridepublic JobExecutionResult execute(String jobName) throws ProgramInvocation