Hadoop Web UI Queues参数解析

最新推荐文章于 2024-02-15 21:42:05 发布

撸依天

最新推荐文章于 2024-02-15 21:42:05 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop queues

本文链接：https://blog.youkuaiyun.com/korder/article/details/47105233

hadoop 专栏收录该内容

30 篇文章

订阅专栏

本文深入探讨了Hadoop集群中队列管理机制，详细解释了各关键指标如队列状态、已使用资源比例、最大可使用容量等，并介绍了如何通过集群WebUI查看这些信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop是通过队列管理集群资源，翻开集群Web UI，找到Schedule查看

这里写图片描述

Queue State : queue 的状态  
Used Capacity : 0.0%  已使用资源占队列配置值的百分比
Absolute Used Capacity : 0.0%  已使用资源占集群的百分比
Absolute Capacity :  queue 至少可以使用系统资源占集群的百分比 
Absolute Max Capacity : queue 最多可以使用系统资源占集群的百分比
Used Resources : 已使用的memory和CPU
Num Schedulable Applications : 正在被调度的app应用个数
Num Non-Schedulable Applications : 没有被调度的app应用个数
Num Containers : 已启用的container容器数量
Max Applications : 最大可运行的应用数量
（处于pending和running状态的，比如配置最大运行量
yarn.scheduler.capacity.maximum-applications 为10000，Absolute Capacity为90%，则这个值为9000）
（这个就是个摆设，实际取决于集群大小和相关的配置）
Max Applications Per User : 每个user最多可以运行的应用数量
Max Schedulable Applications : 集群最大可调度应用数量，取决于内存总量，应用最小内存分配，am可用资源占比。
（例如：内存总量360G，yarn.scheduler.minimum-allocation-mb 为1024M，yarn.scheduler.capacity.maximum-am-resource-percent 为0.1,则此值为360*0.1/1=36）
Max Schedulable Applications Per User : 单个用户最大可调度应用数量。
（Max Schedulable Applications * 该队列capacity占比 * 单用户可使用队列资源占比）
Configured Capacity : 配置该队列capacity
Configured Max Capacity : 配置该队列最大可使用capacity
Configured Minimum User Limit Percent : 每个user最多可以使用队列资源的百分比
Configured User Limit Factor : 每个user最多可以使用几个其他queue队列的资源