追赶者的博客

Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...

一：Flink的分区策略 在Flink的应用中，每个算子都可以设置并行度，比如上游的Map算子的并行度为3，而下游filter的算子并行度为4，那当上下游算子并行度不一致的情况下，flink怎么传递数据呢，这就涉及到Flink的分区策略二：Flink的分区关键类源码分析Flink 中分区策略中有一个抽象类StreamPartitioner，源码如下：public abstract class StreamPartitioner<T> implements Chan...

一：FLINK的链化优势 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 Task 中执行。二：链化的API层操作 ...

public static void main(String[] args) { StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); bsEnv.setStreamTimeCharacteristic(TimeCharacterist...

Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfi...

本代码分析以TumblingEventTimeWindows 为例，若有疏忽，请包涵。第一步 在TumblingEventTimeWindows 类中调用assignWindows（）方法。public Collection<TimeWindow> assignWindows(Object element, long timestamp, WindowAssignerConte...

Flink流处理的容错机制         批处理系统比较容易实现容错机制，由于文件可以重复访问，当某个任务失败后，重启该任务即可。但是在流处理系统中，由于数据源是无限的数据流，一个流处理任务甚至可能会执行几个月，将所有数据缓存或是持久化，留待以后重复访问基本上是不可行的。Flink基于分布式快照与可部分重发的数据源实现了容错，用户可自定义对整个Job进行快照的时间间隔，当出现任务失败时，

Flink的运行模式   flink的运行模式有local模式，cluster，yarn等模式;flink集群层次结构   这一节我们主要一起了解flink on yarn 模式，flink on yarn 有两种模式：      一：long-running Flink cluster on YARN     二 ： run a Flink job on YARN

Flink安装、作业提交案例