Flink：source+operator+sinkSource： SourceFunction：open CheckpointedFunction：initializeState、snapshotState 一般是source+checkpointFlinkKafkaConsumerBase：有四种启动模式：EARLIEST、LATEST、SPECIFIC_OFFSETS、GROUP_OFFSETS EARLIEST:从最早的offset开始读取 ...

在介绍流分区器前，为方便大家理解，我们解释下文中会用到的Flink几个关键名词概念。Parallelism：Flink中Parallelism表示并行度，假设source算子的parallelism=2，集群有2个TaskManager，每个TaskMananger有一个slot，那么source算子会同时在2个TaskManager中运行。Operator：一个算子，比如map算子就是OperatorUpStream：上游流DownStream：下游流文中的例子upStream为source算子.

SourceFunction自定义数据源，通常使用RichParallelSourceFunciton作为父类，实现open、run、cancel三个方法 方法名 作用 open 初始化信息 run 一般使用死循环不断输出数据 cancel 销毁资源 package flink.sourcefunctionimport org.a