YARN调度器的性能瓶颈
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule向AppMaster返回资源. 同时这个过程是异步的.如何解决调度器调度能力不足, 计算资源浪费的问题.调度器有: 公平调度器, 和容量量调度器.公平调度器的性能瓶颈的核心原因是: 核心调度流程是单线程执行的。这意味着Container分配是串行的,这是调度器存在性能瓶颈的核...
原创
2020-04-14 22:25:04 ·
327 阅读 ·
0 评论