hadoop 优化之container

最新推荐文章于 2024-12-25 07:54:01 发布

原创最新推荐文章于 2024-12-25 07:54:01 发布 · 193 阅读

CC 4.0 BY-SA版权

本文介绍了YARN中Container的基本概念及其工作流程。Container作为YARN中的资源抽象，由ApplicationMaster向ResourceManager申请并由ResourceManager分配。文章还详细阐述了两种类型的Container：运行ApplicationMaster的Container和运行各类任务的Container。

首先说明container的概念。Container的一些基本概念和工作流程如下：

（1） Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）。它跟Linux Container没有任何关系，仅仅是YARN提出的一个概念（从实现上看，可看做一个可序列化/反序列化的Java类）。

（2） Container由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步分配给ApplicationMaster；

（3） Container的运行是由ApplicationMaster向资源所在的NodeManager发起的，Container运行时需提供内部执行的任务命令（可以使任何命令，比如java、Python、C++进程启动命令均可）以及该命令执行所需的环境变量和外部资源（比如词典文件、可执行文件、jar包等）。

另外，一个应用程序所需的Container分为两大类，如下：

（1）运行ApplicationMaster的Container：这是由ResourceManager（向内部的资源调度器）申请和启动的，用户提交应用程序时，可指定唯一的ApplicationMaster所需的资源；

（2）运行各类任务的Container：这是由ApplicationMaster向ResourceManager申请的，并由ApplicationMaster与NodeManager通信以启动之。