【flink配置系列】flink jobmanager-service.yaml 功能源码详解

博客围绕jobmanager-service.yaml配置文件展开,该文件用于部署Flink JobManager的Kubernetes Service。在非高可用模式下此Service可选,通过ClusterIP类型为JobManager提供网络入口,定义三个端口处理不同请求,还介绍了标签选择器关联应用程序等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

jobmanager-service.yaml

配置文件主要功能

这个配置文件是用于部署 Flink JobManager 的 Kubernetes Service。在非高可用(Non-HA)模式下,JobManager Service 是可选的。

  • 通过 ClusterIP 类型的 Service,为 JobManager 提供网络访问入口。
  • 定义了三个端口:rpc、blob-server 和 webui,用于分别处理 RPC 通信、Blob Server 和 Web UI 的请求。
  • 使用 app: flinkcomponent: jobmanager 作为标签选择器,将 Service 关联到对应的 Flink 应用程序。

配置文件加上中文注释

apiVersion: v1
kind: Service
metadata:
  name: flink-jobmanager   # Service 的名称
spec:
  type: ClusterIP         # Service 的类型为 ClusterIP,仅在集群内部可访问
  ports:
  - name: rpc             # 端口名称为 rpc
    port: 6123            # 端口号为 6123,用于处理 RPC 通信
  - name: blob-server     # 端口名称为 blob-server
    port: 6124            # 端口号为 6124,用于 Blob Server
  - name: webui           # 端口名称为 webui
    port: 8081            # 端口号为 8081,用于 Web UI
  selector:
    app: flink            # 关联到标签为 app=flink 的应用程序
    component: jobmanager # 关联到标签为 component=jobmanager 的组件

官方链接

### 配置 `flink-conf.yaml` 文件以支持 Apache Flink on YARN #### 理解配置环境 为了使Apache Flink能够在YARN环境中正常运行,需要对`flink-conf.yaml`文件进行特定设置。此文件位于Flink安装目录下的`conf`子目录中[^1]。 #### 设置必要的属性 对于YARN集成而言,有几个重要的配置项应当被指定: - **yarn.application.classpath**: 定义应用程序类路径字符串,该字符串会被传递给YARN容器。这通常用于确保所有依赖库都能被正确加载。 - **fs.hdfs.hadoopconf**: 指向Hadoop配置文件所在的本地文件系统的绝对路径。这对于访问分布式文件系统至关重要。 - **jobmanager.memory.process.size** 和 **taskmanager.memory.process.size**: 分别设定JobManager和TaskManager进程所需的总内存量。合理调整这些值可以优化性能并防止内存溢出错误。 另外,考虑到临时数据存储的需求,建议也适当修改`io.tmp.dirs`参数来指明多个可用作临时空间的位置,以便于轮转使用不同磁盘上的位置,默认情况下会采用Java虚拟机所指向的系统级临时文件夹[^2]。 ```yaml # Example configuration entries for running Flink on YARN yarn.application-classpath: /etc/hadoop/conf,/opt/flink/lib/*:/opt/flink/plugins/* fs.hdfs.hadoopconf: /etc/hadoop/conf/ jobmanager.memory.process.size: 2048m taskmanager.memory.process.size: 4096m io.tmp.dirs: /mnt/disk1/tmp,/mnt/disk2/tmp ``` 通过上述方式编辑`flink-conf.yaml`中的条目,能够有效地准备一个适合部署到YARN集群上的Flink实例。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值