Flink基于zookeeper的高可用分析

王知无(import_bigdata)

已于 2022-03-12 13:13:30 修改

阅读量1k

点赞数

分类专栏： Flink系统性学习专栏文章标签： flink zookeeper 爬虫

于 2021-08-28 22:40:54 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.youkuaiyun.com/u013411339/article/details/119974524

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Flink如何利用Zookeeper实现高可用，包括JobMaster的选举和TaskExecutor的监听机制。Flink的ZooKeeperHaServices提供了基于Zookeeper的选举和监听服务，如LeaderElectionService和LeaderRetrievalService，确保在leader变化时能平滑过渡。JobManagerRunner作为LeaderContender参与选举，而TaskExecutor通过监听JobMaster的leader变化来保持连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《2021年最新版大数据面试题全面开启更新》

Flink中JobMaster、ResourceManager、Dispatcher、WebMonitorEndpoint提供了基于zookeeper高可用，涉及到leader选举与监听， leader选举基于zookeeper开源客户端CuratorFramework 的LeaderLatch方式实现，监听则通过NodeCache实现。基于此Flink提供了zookeeper高可用ZooKeeperHaServices, 通过该工具类可以创建LeaderElectionService与LeaderRetrievalService,包含了对应与zookeeper的znode节点分别是

/resource_manager_lock
/dispatcher_lock
/job_manager_lock
/rest_server_lock

LeaderElectionService用于leader选举服务，基于zk的实现类是ZooKeeperLeaderElectionService，LeaderRetrievalService用于监听leader恢复服务，基于zk的实现类是ZooKeeperLeaderRetrievalService。

涉及到两个重要的角色&

了解本专栏