Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

原创已于 2024-01-09 13:17:15 修改 · 503 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#apache #flink #大数据

于 2024-01-01 11:45:00 首次发布

大数据计算体系技术栈同时被 2 个专栏收录

49 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Apache Flink

38 篇文章

订阅专栏

本文详细介绍了如何配置Apache Flink在Yarn上的高可用（HA），包括修改Yarn的配置参数，设置Flink的flink-conf.yaml文件，以及通过Zookeeper和HDFS实现JobManager的故障恢复。在测试过程中，通过模拟JobManager进程挂掉，观察Yarn重试启动JobManager并恢复任务的过程，验证了Flink Yarn HA的有效性。

🏡 个人主页：IT贫道-优快云博客

🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

1. Yarn HA配置

2. 启动测试

正常基于Yarn提交Flink程序，无论使用哪种模式提交任务都会启动JobManager角色，JobManager角色是哪个进程可以通过Yarn WebUI查看对应的ApplicationID启动所在节点的对应进程， Yarn Session提交任务模式中该角色进程为“YarnSessionClusterEntrypoint”、Yarn Per-Job提交任务模式中该角色进程为“YarnJobClusterEntrypoint”、Yarn Application提交任务模式中该角色进程为“YarnApplicationClusterEntryPoint”。

当JobManager进程挂掉后，也就是Yarn Application任务失败后默认不会进行任务重试，所以Flink 基于Yarn JobManager HA的本质是当Yarn Application程序失败后重试启动JobManager，实际上就是通过配置Yarn重试次数来实现高可用。JobManager重试过程需要借助zookeeper 协调JobManger失败后的切换，进而进行恢复对应的任务，同时需要HDFS存储每个Flink任务的执行流程数据。