yarn的三个资源调度策略

最新推荐文章于 2025-05-14 09:21:23 发布

古拉拉明亮之神

最新推荐文章于 2025-05-14 09:21:23 发布

阅读量532

点赞数 3

CC 4.0 BY-SA版权

文章标签： spark

本文链接：https://blog.youkuaiyun.com/2401_84985118/article/details/147333481

策略原理：将集群资源划分为多个队列，每个队列有固定的资源容量，且可以设置资源的最大和最小使用量。不同的用户或应用程序可以被分配到不同的队列中，在队列内部，任务按照先来先服务（FIFO）的顺序进行调度。
优点
- 隔离性好：不同队列之间相互隔离，一个队列的资源使用情况不会影响其他队列，确保了重要业务的资源需求。
- 可扩展性强：可以根据实际需求灵活调整队列的数量和资源分配比例。
缺点：当某个队列资源空闲时，其他队列无法使用这些空闲资源，可能导致资源利用率不高。
适用场景：适合多用户、多组织共享集群的场景，每个用户或组织可以被分配到一个或多个队列，保证各自的资源需求。例如，在一个企业级的大数据平台中，不同部门可以使用不同的队列，以确保各自的业务不受其他部门的影响。

策略原理：公平调度器的核心思想是公平地分配资源给各个应用程序。它会动态地调整资源分配，使得每个应用程序在一段时间内都能获得大致相同的资源使用量。当有新的应用程序提交时，公平调度器会为其分配资源，同时减少其他应用程序的资源使用量，以保证公平性。
优点
- 资源利用率高：可以充分利用集群的空闲资源，提高资源的整体利用率。
- 公平性好：保证每个应用程序都能获得公平的资源分配，避免了某些应用程序长时间占用大量资源而导致其他应用程序等待的情况。
缺点：由于需要动态调整资源分配，可能会导致一定的调度开销。
适用场景：适合对公平性要求较高的场景，如多租户环境下的共享集群。在这种场景下，不同用户的应用程序可能会同时提交，公平调度器可以确保每个用户的应用程序都能获得合理的资源分配。

策略原理：按照应用程序提交的先后顺序进行调度，先提交的应用程序先获得资源并执行，后提交的应用程序需要等待前面的应用程序执行完毕后才能获得资源。
优点：实现简单，易于理解和管理。不需要复杂的资源分配算法，只需要按照队列顺序依次分配资源即可。
缺点：缺乏资源隔离性和公平性。如果一个大的应用程序先提交，它会占用所有的资源，导致后续提交的小应用程序需要长时间等待。
适用场景：适合对调度策略要求不高、应用程序较少且对执行顺序有严格要求的场景。例如，在一个简单的测试环境中，可能只需要按照提交顺序依次执行应用程序，此时先进先出调度器是一个不错的选择。