Kubernetes 运行flink（六）

最新推荐文章于 2025-10-12 11:26:19 发布

原创

最新推荐文章于 2025-10-12 11:26:19 发布 · 4.7k 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍Flink在Kubernetes集群上的部署流程，包括JobManager和TaskManager的配置与启动，以及通过UI进行访问的方法。文章还介绍了如何利用ConfigMap解耦配置文件，确保日志与Pod的独立性。

概念：

Flink 由Job Manager和Task Manager两个部分组成，Job Manager负责协调流处理作业，管理作业的提交以及生命周期，并把工作分配给任务管理器。任务管理器执行实际的流处理逻辑，同一个时间只能一个活跃的Job Manager，但可以有多个Task manager。

Flink还引入Checkpoint机制，来周期性记录各种流处理操作的状态，并且进行持久化存储，在从故障恢复的时候，流处理作业可以从最新的检查点继续执行。checkpoint也是由job Manager进行协调更新。

1: 具体部署步骤

job Manager和task Manager都采用deployment进行部署，另外还需要定义相应的configmap和service文件，使其能够暴露一个端口供外界访问

首现配置ConfigMap

flink-configuration-configmap.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  labels:
    app: flink
data:
  flink-conf.yaml: |+
    jobmanager.rpc.address: flink-jobmanager
    taskmanager.numberOfTaskSlots: 1
    blob.server.port: 6124
    jobmanager.rpc.port: 6123
    taskmanager.rpc.port: 6122
    jobmanager.heap.size: 1024m
    taskmanager.heap.size: 1024m
  log4j.properties: |+
    log4j.rootLogger=INFO, file
    log4j.logger.akka=INFO
    log4j.logger.org.apache.kafka=INFO
    log4j.logger.org.apa