对比Flink作业提交的几种方式

目录

1. Session Mode

1.1 流程

1.2 优缺点总结

1.3 适用场景

2.Per-Job mode

2.1 流程

2.2 优缺点总结

2.3 适用场景

3. Session mode VS Per-Job mode

4. Application mode（flink 1.11+版本）

---

​​​​​​​

1. Session Mode

1.1 流程

（1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。

（2）这时可以直接提交作业，节省了申请和分配资源的开销

1.2 优缺点总结

（1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。

（2）当一个TM发生故障，那么所有在这个节点上的job都会失败。

（3）当提交的作业越来越多时，JM的负载会越来越高。

1.3 适用场景

适合部署一些运行时间短，对延迟性要求不高的任务。

---

2.Per-Job mode

2.1 流程

每个Job提交到Yarn上，都会形成独立的flink集群，即拥有自己独立的JobManager和TaskManager。