Path

Blink是一个非常优秀的流处理任务开发框架，相对于之前的jstorm开发框架，它最显著的特点是具备非常完备的状态管理体系，解决了流处理任务中让人非常头疼的“保证EXACTLY ONCE的错误断点恢复”问题。下面着重梳理下blink是如何进行状态管理的。1 Checkpoint Barrier在处理数据流时，定期插入checkpoint barrier，当一个计算节点收到checkpoin...

1 运算节点通过这张图我们可以看到，在一个 DAG 图中，不能被 chain 在一起的 operator 会被分隔到不同 的 Task 中，也就是说，Task 是 Flink 中资源调度的最小单位。2 运行框架Blink 运行时包括两类进程:JobManager（又称为 JobMaster）：协调 Task 的分布式执行，包括调度 Task、协调创 checkpoint 以及当 job...

1 StreamExecutionEnvironmentStreamExecutionEnvironment是对流处理引擎运行环境的抽象，可以通过调用它的接口来对运行环境进行配置常用配置如下：final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.enab...

DataStream是Blink对数据流进行的的抽象。每个数据流都需要指定一个数据源，并可以调用接口对数据流进行命名、配置并行度配置堆栈内存等。 DataStream<TTLogBlock> dataStream = env .addSource(p4p_pv2_source) .name("p4p_pv2_source...