weixin_43015677的博客

两条流的格式可以不一样， map操作使用CoMapFunction，process 传入：CoProcessFunction。keyBy 进行了按键分区，那么要传入的就是 KeyedBroadcastProcessFunction；2.1 union ：使用 ProcessFunction 处理合流后的数据。如果没有按键分区，就传入 BroadcastProcessFunction。（2）两阶段提交（two-phase-commit，2PC）第十章：检查点（Checkpoint）

pom中解决冲突后，上传至集群，偶尔成功，偶尔jar包冲突，原因：集群是jvm的类加载器是随机加载的，所以将pom中打包的时候对相关jar包进行重命名，问题解决。

这样一来，我们在 slot 上执行一个子任务时，相当于划定了一块内存“专款专用”，就不需要跟来自其他作业的任务去竞争内存资源了。假如一个 TaskManager 有三个 slot，那么它会将管理的内存平均分成三份，每个 slot 独自。每个任务槽（task slot）其实表示了 TaskManager 拥有计算资源的一个固定大小的子集。的任务节点的子任务可以共享 slot。一个 slot 中，可以将程序处理的所有任务都放在这里执行，每个任务节点的并行子任务一字排开，占据不同的 slot；

由 Flink 程序直接映射成的数据流图（dataflow graph），也被称为逻辑流图（logical StreamGraph），因为它们表示的是计算逻辑的高级视图。四层：逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。在这个转换过程中，有几个不同的阶段，会生成不同层级的图，其中最重要的就是作业图（JobGraph）和执行图（ExecutionGraph）。

其实客户端并不是处理系统的一部分，它只负责作业的提交。具体来说，就是调用程序的 main 方法，将代码转换成“数据流图”（Dataflow Graph），并最终生成作业图（JobGraph），一并发送给 JobManager。提交之后，任务的执行其实就跟客户端没有关系了。

【代码】flink笔记：009-011 wordcount。

基本介绍