【flink配置系列】flink jobmanager-session-deployment-ha.yaml 功能源码用法详解

FlinkJobManagerHAKubernetesDeploymentConfigurationwith中文注解

原创

已于 2023-12-24 13:55:50 修改 · 250 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2023-09-02 23:43:51 首次发布

这篇文章详细解释了jobmanager-session-deployment-ha.yaml配置文件，用于在Kubernetes上部署FlinkJobManager的高可用模式，包括设置副本数、容器配置、环境变量、端口映射、活跃探测和ConfigMap的使用。

jobmanager-session-deployment-ha.yaml

文章目录

jobmanager-session-deployment-ha.yaml

配置文件主要功能

这个配置文件是用于部署 Flink JobManager 的 Kubernetes Deployment。在高可用（HA）模式下，使用该配置文件可以创建一个 JobManager 实例。

定义了一个名为 flink-jobmanager 的 Deployment。
设置副本数为 1，可以根据需要将其设置为大于 1 以启动备用的 JobManager。
使用标签选择器 app: flink 和 component: jobmanager 来匹配对应的 Pod。
在 Pod 模板中定义了一个名为 jobmanager 的容器，使用 apache/flink:latest 镜像。
通过环境变量 POD_IP 获取 Pod 的 IP 地址，并在启动参数中将 jobmanager.rpc.address 的值覆盖为 $(POD_IP)。
将容器的三个端口映射到相应的容器端口：6123（RPC）、6124（Blob Server）和 8081（Web UI）。
配置了一个活跃探测（liveness probe），通过 TCP Socket 探测容器的 6123 端口，延迟 30 秒后开始探测，每 60 秒进行一次探测。
挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf 目录，该卷来自 ConfigMap flink-config 中的两个文件。
设置容器的安全上下文，将容器的用户 ID 设置为 9999（根据官方 flink 镜像的用户 _flink_），如果需要可以进行更改。
指定了 flink-service-account 作为 Service Account，该 Service Account 具有创建、编辑和删除 ConfigMaps 的权限。

配置文件加上中文注释

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-jobmanager   # Deployment 的名称
spec:
  replicas: 1             # 设置副本数为 1，可以根据需要设置大于 1 以启动备用的 JobManager
  selector