Flink HA高可以集群搭建(生产环境Flink Cluster On YARN)

  环境为:Flink1.9.0 + Hadoop 2.8.5 +centos7

 高可用Flink HA规划

主机	ip	说明
centoshadoop1	192.168.227.140	StandaloneSessionClusterEntrypoint(主节点进程名称)
centoshadoop2	192.168.227.141	StandaloneSessionClusterEntrypoint(主节点进程名称)
centoshadoop3	192.168.227.142	TaskManagerRunner(从节点进程名称)
centoshadoop4	192.168.227.143	TaskManagerRunner(从节点进程名称)

（一）要成功搭建Flink HA（基于YARN模式,生产环境基本上都是基于这种模式）高可用集群,首先需要搭建好Flink on yarn集群，可以参照：https://blog.youkuaiyun.com/u014635374/article/details/105704524  搭建

（二）搭建Flink HA具体步骤如下

Flink ON YARN集群搭建

Flink on YARN的HA利用了YARN的任务恢复机制

这里也需要利用到Zookeeper恢复机制,主要是因为Flink ON YARN的虽然依赖YARN的任务恢复机制,但是Flink任务在恢复时,需要依赖检查点产生的快照。而这些快照虽然配置在HDFS上,但是其元数据信息保存在Zookeeper中,所有我们还需要配置Zookeeper的信息

修改hadoop中的yarn-site.xml配置文件,设置提交应用程序的最大尝试次数

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop

 <!--设置提交任务的最大尝试次数 -->

    <property>

         <name>yarn.resourcemanager.am.max-attempts</name>

         <value>4</value>

    </property>

分发到个hadoop节点

scp -r yarn-site.xml hadoop@centoshadoop2: /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop

 

scp -r yarn-site.xml