【flink配置系列】flink jobmanager-application-ha.yaml功能详解

FlinkJobManagerHA模式的Kubernetes配置详解

原创

已于 2023-12-24 13:51:00 修改 · 464 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #kubernetes

于 2023-09-02 23:49:22 首次发布

文章详细解释了jobmanager-application-ha.yaml配置文件，用于在Kubernetes中部署FlinkJobManager的高可用模式，包括设置并行度、Pod配置、环境变量、容器端口映射、活跃探测和卷挂载等内容。

jobmanager-application-ha.yaml

文章目录

jobmanager-application-ha.yaml

配置文件主要功能

这个配置文件是用于部署 Flink JobManager 作业的 Kubernetes Job。在高可用（HA）模式下，使用该配置文件可以创建一个 JobManager 实例来运行独立的作业。

定义了一个名为 flink-jobmanager 的 Kubernetes Job。
设置并行度为 1，可以根据需要将其设置为大于 1 以启动备用的 JobManagers。
在 Job 模板中定义了一个 Pod，使用 apache/flink:latest 镜像。
在容器中设置了环境变量和启动参数，以指定作业的类名、可选参数和作业参数，并覆盖配置文件中 jobmanager.rpc.address 的值为 $(POD_IP)。
将容器的三个端口映射到相应的容器端口：6123（RPC）、6124（Blob Server）和 8081（Web UI）。
配置了一个活跃探测（liveness probe），通过 TCP Socket 探测容器的 6123 端口，延迟 30 秒后开始探测，每 60 秒进行一次探测。
挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf 目录，该卷来自 ConfigMap flink-config 中的两个文件。
挂载名为 job-artifacts-volume 的卷到容器的 /opt/flink/usrlib 目录，该卷是宿主机上作业所需的文件路径。
指定了 flink-service-account 作为 Service Account，该 Service Account 具有创建、编辑和删除 ConfigMaps 的权限。

配置文件加上中文注释

apiVersion: batch/v1
kind: Job
metadata:
  name: flink-jobmanager   # Job 的名称
spec:
  parallelism: 1             # 设置并行度为 1，可以根据需要设置大于 1 以启动备用的 JobManagers
  template:
    metadata:
      labels:
        app: flink         # 在 Pod 模板中设置