Flink on Yarn(HA配置)

本文详细介绍了Flink在Yarn上进行高可用(HA)配置的步骤,包括配置AM重启最大次数、设置Flink Application重试次数、配置Zookeeper信息等。并展示了启动Flink Yarn Session、提交Job以及进行HA测试的过程,讨论了Flink 1.2在Yarn上的改进。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

根据部署方式不同,Flink Jobmanager HA配置分为2种:

1、standalone cluster HA
2、Yarn cluster HA 

其中,standalone cluster HA可参考我之前的一篇文章

简单回顾下,standalone模式的HA需要多个“活着的”Jobmanager,其中1个作为leader,其他作为standby,leader选举依赖于Zookeeper。可以用下面的一张图来形象的表述standalone HA:
这里写图片描述

本文专门讨论Yarn下Flink HA的搭建与配置。

Flink部署在Yarn上,仅作为yarn上“多租户”的一个service而存在。Flink在yarn中容器的概念分为2种:

用于启动JobManager(AM)的容器
用于启动TaskManager的容器

我们可以通过yarn-session.sh –help来看下启动Flink On Yarn的参数信息:
这里写图片描述

其中-n代表taskmanager的容器数量,而不是taskmanager+jobmanager的容器数量。

在配置HA前,先通过-q看一下我的yarn集群的资源情况:

这里写图片描述

从图中可以看出,我配置的每个NodeManager的内存是8192MB(yarn-site.xml),每个NodeManager的vcores数量是8。所以,当前yarn集群中可用内存总量为32768,总cores是32.

1、配置准备
在配置Flink On Yarn之前,必须保证hdfs和yarn都已经开启,可以通过$HADOOP_HOME/sbin/start-all.sh启动hdfs和yarn。

2、配置AM在尝试重启的最大次数(yarn-site.xml)

此配置需要在$HADOOP_CONF_DIR 的yarn-site.xml添加。
添加如下配置:
这里写图片描述

此配置代表application master在重启时,尝试的最大次数。

3、配置Application Attempts(flink-conf.yaml)

此参数需要在$FLINK_HOME/conf 的flink-conf.yaml中配置。
添加如下配置:
这里写图片描述

此参数代表Flink Job(y

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值