yarn 更換调度器之后,正在运行的作业可以自动拉起

本文介绍了一种针对YARN集群中Fair调度器与Capacity调度器之间切换的测试方案。测试包括了在不同调度器下运行pi任务的过程,并验证了在资源管理器重启后任务是否能继续正常运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

服务器测试过程。

1. Yarn开始使用Fair调度器,提交一个pi任务,运行成功。

2. 把stand by resourcemanager停止,把调度器改为capacity,然后重新启动stand by resourcemanager。

2. 再次运行一个pi任务,设置map数大一些,如100。

3. 在运行过程中,把active resourcemanager停止,.

4. 过一会,运行pi的客户端成功。说明切换调度器之后,正在运行的作业可以自动拉起。

5.再次运行一个pi任务,成功,说明新的调度器也能正常提交任务。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值