ApplicationMaster,ResourceManager和NodeManager通信过程

最新推荐文章于 2024-10-07 11:47:17 发布

原创

最新推荐文章于 2024-10-07 11:47:17 发布 · 7.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#yarn #hadoop

本文详细介绍了在Hadoop的YARN框架中，ApplicationMaster如何与ResourceManager、NodeManager进行通信的过程，揭示了任务调度和资源管理的内部机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ApplicationMaster与ResourceManager和NodeManager的交互：
rpc交互: 1.与ResourceManager交互，ApplicationMaster可获得计算所需的资源
2.与NodeManager交互，ApplicationMaster可启动计算任务并监控它的生命周期

1.ApplicationMaster与ResourceManager之间通信主要有以下三个步骤
1).ApplicationMaster通过rpc向ResourceManager注册。ApplicationMaster启动时，首先向ResourceManager注册，注册消息封装到
ProtocolBuffers消息RegisterApplicationMasterRequest中，主要包含以下字段：
**host: ApplicationMaster启动所在的节点的host
**rpc_port: ApplicationMaster本次启动对外rpc的端口号
**tracking_url: ApplicationMaster对外提供的追踪的web url，用户可以通过该url查看应用程序执行状态
ApplicationMaster注册成功后，ResourceManager将返回一个RegisterApplicationMasterResponse类型的对象。该返回
对象主要包含以下几个字段： <