Flink1.12 flink-conf.yaml配置

本文详细介绍了Flink 1.12的配置文件flink-conf.yaml,包括配置定位、注意事项、参数解析,并重点讲解了Flink的高可用配置,如Zookeeper集群设置、YARN应用尝试次数、JobManager和TaskManager的配置等,旨在帮助读者理解如何在大数据环境中确保Flink作业的稳定运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.配置及注释

1.1定位

flink-conf.yaml是flink的配置文件,优先级在代码和提交参数之后是通用配置

1.2注意点

flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格,否则配置不会生效。

1.3参数解析

#==============================================================================

# 集群通用配置

#==============================================================================

# Jobmanager的地址,taskmanager必须要识别并能连上。

# 只有standalone的集群模式起作用,当执行bin/jobmanager.sh --host<hostname>的时候将被覆盖

# 在YARN或者Mesos的集群模式下将自动替换为jobmanager所在节点的hostname.

jobmanager.rpc.address: 

# jobmanager的RPC端口,和taskmanger通信端口

jobmanager.rpc.port: 6123

# JobManager能够使用的内存的最大值,包括Java虚拟机的metaspace和其他的开销;

jobmanager.memory.process.size: 1g

# taskmanager 能够使用的最大内存大小,包括Java虚拟机的metaspace和其他的开销;

taskmanager.memory.process.size: 4g

# 每个TaskManager提供的slot数量,每个slot上能运行一个并行的pipeline任务。

taskmanager.numberOfTaskSlots: 4

# 没有指定并行度的情况下,默认的全局并行度

parallelism.default: 8

#==========================================================&

### 配置 `flink-conf.yaml` 文件以支持 Apache Flink on YARN #### 理解配置环境 为了使Apache Flink能够在YARN环境中正常运行,需要对`flink-conf.yaml`文件进行特定设置。此文件位于Flink安装目录下的`conf`子目录中[^1]。 #### 设置必要的属性 对于YARN集成而言,有几个重要的配置项应当被指定: - **yarn.application.classpath**: 定义应用程序类路径字符串,该字符串会被传递给YARN容器。这通常用于确保所有依赖库都能被正确加载。 - **fs.hdfs.hadoopconf**: 指向Hadoop配置文件所在的本地文件系统的绝对路径。这对于访问分布式文件系统至关重要。 - **jobmanager.memory.process.size** 和 **taskmanager.memory.process.size**: 分别设定JobManager和TaskManager进程所需的总内存量。合理调整这些值可以优化性能并防止内存溢出错误。 另外,考虑到临时数据存储的需求,建议也适当修改`io.tmp.dirs`参数来指明多个可用作临时空间的位置,以便于轮转使用不同磁盘上的位置,默认情况下会采用Java虚拟机所指向的系统级临时文件夹[^2]。 ```yaml # Example configuration entries for running Flink on YARN yarn.application-classpath: /etc/hadoop/conf,/opt/flink/lib/*:/opt/flink/plugins/* fs.hdfs.hadoopconf: /etc/hadoop/conf/ jobmanager.memory.process.size: 2048m taskmanager.memory.process.size: 4096m io.tmp.dirs: /mnt/disk1/tmp,/mnt/disk2/tmp ``` 通过上述方式编辑`flink-conf.yaml`中的条目,能够有效地准备一个适合部署到YARN集群上的Flink实例。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值