yarn
关注
分享
扫一扫
文章平均质量分 65
自由盼盼
这个作者很懒，什么都没留下…
展开
-
Unhealthy Nodes导致计算能力下降
某天集群出现Unhealthy Nodes导致集群计算能力下降的问题，检查发现该节点比较多磁盘块达到90%的瓶颈了，yarn中有相关的配置，如下：yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage90The maximum percentage of di原创 2017-05-28 21:40:44 · 1309 阅读 · 0 评论 -
Yarn的fair和capacity调度器
yarn通过可插拔方式提供调度策略，由于FIFO对多用户情况欠缺，这里只介绍容量调度(capacity)和公平调度器(fair);相同点：1.支持多队列多用户，提高集群资源利用率；2.支持动态加载配置文件，比如修改了配置，yarn rmadmin -refreshQueues即可刷新；3.支持资源抢占和批量分配；不同点：1.队列间资源分配方面，capacity是资源满足原创 2017-05-31 15:27:59 · 1754 阅读 · 0 评论