【flink配置系列】flink jobmanager-rest-service.yaml功能源码详解

博客围绕 jobmanager - rest - service.yaml 配置文件展开,该文件用于在 Kubernetes 中将 Flink JobManager 的 REST 端口公开为公共节点端口。通过 NodePort 类型的 Service 暴露端口,定义了处理 REST 请求的端口,还使用标签选择器关联到对应 Flink 应用程序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

jobmanager-rest-service.yaml

配置文件主要功能

这个配置文件是用于在 Kubernetes 中将 Flink JobManager 的 REST 端口公开为公共节点端口的可选 Service。

  • 通过 NodePort 类型的 Service,将 JobManager 的 REST 端口暴露给 Kubernetes 节点的公共端口。
  • 定义了一个端口:rest,用于处理 REST 请求,默认为 8081。
  • 使用 app: flinkcomponent: jobmanager 作为标签选择器,将 Service 关联到对应的 Flink 应用程序。

配置文件加上中文注释

apiVersion: v1
kind: Service
metadata:
  name: flink-jobmanager-rest   # Service 的名称
spec:
  type: NodePort               # Service 的类型为 NodePort,将 REST 端口公开为节点端口
  ports:
  - name: rest                 # 端口名称为 rest
    port: 8081                 # Service 的端口号为 8081
    targetPort: 8081           # 将请求转发到 JobManager 的 REST 端口 8081
    nodePort: 30081            # 将节点端口映射为 30081
  selector:
    app: flink                 # 关联到标签为 app=flink 的应用程序
    component: jobmanager      # 关联到标签为 component=jobmanager 的组件

官方链接

### 配置 `flink-conf.yaml` 文件以支持 Apache Flink on YARN #### 理解配置环境 为了使Apache Flink能够在YARN环境中正常运行,需要对`flink-conf.yaml`文件进行特定设置。此文件位于Flink安装目录下的`conf`子目录中[^1]。 #### 设置必要的属性 对于YARN集成而言,有几个重要的配置项应当被指定: - **yarn.application.classpath**: 定义应用程序类路径字符串,该字符串会被传递给YARN容器。这通常用于确保所有依赖库都能被正确加载。 - **fs.hdfs.hadoopconf**: 指向Hadoop配置文件所在的本地文件系统的绝对路径。这对于访问分布式文件系统至关重要。 - **jobmanager.memory.process.size** 和 **taskmanager.memory.process.size**: 分别设定JobManager和TaskManager进程所需的总内存量。合理调整这些值可以优化性能并防止内存溢出错误。 另外,考虑到临时数据存储的需求,建议也适当修改`io.tmp.dirs`参数来指明多个可用作临时空间的位置,以便于轮转使用不同磁盘上的位置,默认情况下会采用Java虚拟机所指向的系统级临时文件夹[^2]。 ```yaml # Example configuration entries for running Flink on YARN yarn.application-classpath: /etc/hadoop/conf,/opt/flink/lib/*:/opt/flink/plugins/* fs.hdfs.hadoopconf: /etc/hadoop/conf/ jobmanager.memory.process.size: 2048m taskmanager.memory.process.size: 4096m io.tmp.dirs: /mnt/disk1/tmp,/mnt/disk2/tmp ``` 通过上述方式编辑`flink-conf.yaml`中的条目,能够有效地准备一个适合部署到YARN集群上的Flink实例。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值