Flink on Yarn -CDH5部署
公司之前想上实时数仓,当时写了个部署文档,想着有的兄弟可能会用得到,脱敏之后公布出来。
依据现有的大数据集群(CDH5.8.5),搭建3个节点得flink集群,统一交给yarn来管理,并搭建高可用。
1.1 Flink模式
Flink有开发模式,Local-cluster模式,Standalone模式,Yarn模式
这里我们搭建在CDH集群上,我们采Flink on Yarn,由Yarn统一管理集群资源
1.2 Yarn模式部署
独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。
但是Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还选择Yarn模式。把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源