Flink on Yarn (HA)高可用部署 基于flink1.12 CDH5.8.5 保姆级操作

Flink on Yarn -CDH5部署

公司之前想上实时数仓,当时写了个部署文档,想着有的兄弟可能会用得到,脱敏之后公布出来。
依据现有的大数据集群(CDH5.8.5),搭建3个节点得flink集群,统一交给yarn来管理,并搭建高可用。
在这里插入图片描述

1.1 Flink模式

Flink有开发模式,Local-cluster模式,Standalone模式,Yarn模式
这里我们搭建在CDH集群上,我们采Flink on Yarn,由Yarn统一管理集群资源

1.2 Yarn模式部署

​ 独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。

​ 但是Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还选择Yarn模式。把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源

1.2.1 Yarn模式配置</

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值