资源调度器调研

2019独角兽企业重金招聘Python工程师标准>>>

场景描述： 异步触发和Crontab触发

YARN(Yet Another Resource Negotiator)Hadoop 资源管理器

主要构成： RM(ResourceManager)是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 调度器根据容量、队列等限制条件，将系统中的资源分配给各个正在运行的应用程序。 应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。 NodeManager（NM）NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它接收并处理来自AM的Container启动/停止等各种请求。 Container Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

转载于:https://my.oschina.net/u/347414/blog/1545374