【flink配置系列】FLINK Local Recovery Enabled TaskManager StatefulSet

原创

已于 2023-12-24 13:58:09 修改 · 287 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #kubernetes

于 2023-09-02 23:52:04 首次发布

文章详细解释了如何在Kubernetes中配置LocalRecoveryEnabled的FlinkTaskManagerStatefulSet，涉及ConfigMap、Service、StatefulSet以及容器设置，包括配置文件、服务连接、副本数和活跃探测等。

Local Recovery Enabled TaskManager StatefulSet

文章目录

Local Recovery Enabled TaskManager StatefulSet

配置文件主要功能

这个配置文件用于部署启用本地恢复（Local Recovery）功能的 Flink TaskManager 的 Kubernetes StatefulSet。

定义了一个名为 flink-config 的 ConfigMap，用于存储 Flink 的配置信息。
在 ConfigMap 中设置了一些关键的配置项，如 JobManager 的 RPC 地址、TaskManager 的任务槽数量、Blob Server 端口等。
定义了一个名为 taskmanager-hl 的 Service，类型为 ClusterIP，并将其与 TaskManager 相关联。
定义了一个名为 flink-taskmanager 的 StatefulSet，指定了与之关联的 Service 名称、副本数和选择器。
在 Pod 模板中定义了一个名为 taskmanager 的容器，使用 apache/flink:latest 镜像。
设置容器的安全上下文，将容器的用户 ID 设置为 9999，并将文件系统组 ID 设置为 9999。
在容器中设置了环境变量和启动参数，其中 -Dtaskmanager.resource-id=$(POD_NAME) 用于指定 TaskManager 的资源 ID。
将容器的两个端口映射到相应的容器端口：6122（RPC）和 6121（Metrics）。
配置了一个活跃探测（liveness probe），通过 TCP Socket 探测容器的 6122 端口，延迟 30 秒后开始探测，每 60 秒进行一次探测。
挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf/ 目录，该卷来自 ConfigMap flink-config 中的两个文件。
定义了一个名为 pv 的持久卷声明（PersistentVolumeClaim），用于挂载到容器的 /pv 目录。

配置文件加上中文注释

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config   # ConfigMap 的名称
  labels:
    app: flink
data:
  flink-conf.yaml: |+   # Flink 的配置信息
    jobmanager.rpc.address: flink-jobmanager
    taskmanager.numberOfTaskSlots: 2
    blob.server.port: 6124
    jobmanager.rpc.port: 6123
    taskmanager.rpc.port: 6122