【flink配置系列】 taskmanager-job-deployment.yaml 功能源码详解

taskmanager-job-deployment.yaml

配置文件主要功能

这个配置文件是用于部署 Flink TaskManager 的 Kubernetes Deployment。

• 定义了一个名为 flink-taskmanager 的 Deployment。
• 设置副本数为 2，即启动两个 TaskManager 实例。
• 使用标签选择器 app: flink 和 component: taskmanager 来匹配对应的 Pod。
• 在 Pod 模板中定义了一个名为 taskmanager 的容器，使用 apache/flink:latest 镜像。
• 将容器的 RPC 端口映射到容器的 6122 端口。
• 配置了一个活跃探测（liveness probe），通过 TCP Socket 探测容器的 6122 端口，延迟 30 秒后开始探测，每 60 秒进行一次探测。
• 挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf/ 目录，该卷来自 ConfigMap flink-config 中的两个文件。
• 挂载名为 job-artifacts-volume 的卷到容器的 /opt/flink/usrlib 目录，该卷是宿主机上作业所需的文件路径。

配置文件加上中文注释

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-taskmanager   # Deployment 的名称
spec:
  replicas: 2             # 设置副本数为 2，即启动两个 TaskManager 实例
  selector:
    matchLabels:
      app: flink          # 匹配标签为 app=flink 的 Pod
      component: taskmanager  # 匹配标签为 component=taskmanager 的 Pod
  template:
    metadata:
      labels:
        app: flink         # 在 Pod 模板中设置标签 app=flink
        component: taskmanager  # 在 Pod 模板中设置标签 component=taskmanager
    spec:
      containers:
      - name: taskmanager   # 容器名称为 taskmanager
        image: apache/flink:latest  # 使用 apache/flink:latest 镜像
        env:
        args: ["taskmanager"]  # 启动参数为 "taskmanager"
        ports:
        - containerPort: 6122  # 将容器的 6122 端口映射为 RPC 端口
          name: rpc
        livenessProbe:  # 配置活跃探测
          tcpSocket:
            port: 6122     # 通过 TCP Socket 探测容器的 6122 端口
          initialDelaySeconds: 30  # 延迟 30 秒后开始进行探测
          periodSeconds: 60        # 每 60 秒进行一次探测
        volumeMounts:
        - name: flink-config-volume  # 挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf/ 目录
          mountPath: /opt/flink/conf/
        - name: job-artifacts-volume  # 挂载名为 job-artifacts-volume 的卷到容器的 /opt/flink/usrlib 目录
          mountPath: /opt/flink/usrlib
        securityContext:
          runAsUser: 9999  # 将容器的用户 ID 设置为 9999（根据官方 flink 镜像的用户 _flink_），如有需要可进行更改
      volumes:
      - name: flink-config-volume   # 定义名为 flink-config-volume 的卷
        configMap:
          name: flink-config   # 从 ConfigMap flink-config 中获取卷的内容
          items:
          - key: flink-conf.yaml
            path: flink-conf.yaml
          - key: log4j-console.properties
            path: log4j-console.properties
      - name: job-artifacts-volume   # 定义名为 job-artifacts-volume 的卷
        hostPath:
          path: /host/path/to/job/artifacts   # 设置宿主机上作业所需的文件路径

官方链接

• Flink Deployment on Kubernetes