Yarn运行原理，以及三大组件ResourceManager、NodeManager、ApplicationMaster的介绍

最新推荐文章于 2024-01-16 18:20:11 发布

竹长大大

最新推荐文章于 2024-01-16 18:20:11 发布

阅读量1.2k

点赞数 1

分类专栏： # Hadoop 文章标签： yarn hadoop 分布式大数据 big data

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/123244310

版权

本文深入介绍了Yarn的运行原理，从client提交应用程序开始，详细阐述ResourceManager如何启动和管理ApplicationMaster，以及NodeManager如何处理和监控container。ApplicationMaster负责资源申请、任务调度及监控，而ResourceManager和NodeManager则专注于资源管理和任务执行环境的维护。了解这些核心组件，有助于更好地理解和部署大规模大数据应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Yarn运行原理：

client 向 ResourceManager 提交应用程序，其中包括启动该应用的 ApplicationMaster 的必须信息，例如 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。
ResourceManager 启动一个 container 用于运行 ApplicationMaster。
启动中的 ApplicationMaster 向 ResourceManager 注册自己，启动成功后与 ResourceManager 保持心跳。
ApplicationMaster 向 ResourceManager 发送请求，申请相应数目的 container。
ResourceManager 返回 ApplicationMaster 的申请的 containers 信息。申请成功的 container，由 ApplicationMaster 进行初始化。container 的启动信息初始化后，ApplicationMaster 与对应的 NodeManager 通信，要求 NodeManager 启动 container。ApplicationMaster 与 NodeManager 保持心跳，从而对 NodeManager 上运行的任务进行监控和管理。
container 运行期间，ApplicationMaster 对 container 进行监控。container 通过 RPC 协议向对应的 ApplicationMaster 汇报自己的进度和状态等信息。
应用运行期间，client 直接与 Applica