yuchuanchen的专栏

flink on k8s 目前有两种模式：Kubernetes：用户通过定义 flink 的 k8s 资源描述文件，由 kubectl 命令启动，最终以 standalone session cluster 或 standalone job cluster 模式运行。其中 standalone session cluster 运行多个作业；standalone job cluster 只运行一个作业。Native Kubernetes：用户通过 flink run 命令直接提交作业，由 flink 客

官方文档对 pyflink 的使用说明不是很详细。本文主要参考了 孙金城 大佬的下面几篇文章：Apache Flink 说道系列 - PyFlink 作业的多种部署模式Three Min Series - How to using PyFlink Shell代码参考：https://github.com/pyflink/playgrounds结合自己测试过程，有些地方做了修改，做一个记录。1.从源码编译 flink如果已经获得 flink 二进制包，可以跳过该步骤。可以参考官方文档 Build

1. 背景flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。2. 优势Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行