Sparrow 调度平台项目推荐

Sparrow 调度平台项目推荐

sparrow Sparrow scheduling platform (U.C. Berkeley). 项目地址: https://gitcode.com/gh_mirrors/sparro/sparrow

1. 项目基础介绍和主要编程语言

Sparrow 是一个高性能、低延迟且具备容错能力的分布式集群调度平台，由加州大学伯克利分校（UC Berkeley）开发。该项目主要使用 Java 和 Python 进行开发。Java 主要用于核心调度逻辑和示例应用程序的实现，而 Python 则用于部署脚本和一些辅助功能的实现。

2. 项目核心功能

Sparrow 的核心功能包括：

• 高吞吐量和低延迟调度：Sparrow 设计用于需要频繁进行资源分配的短作业，如分析框架。它通过分布式调度器实现毫秒级的调度速度，比现有方法快两个数量级。
• 容错能力：Sparrow 能够处理调度器故障。如果某个调度器失败，客户端可以简单地将调度请求重定向到另一个调度器。
• 无共享状态调度：每个调度器通过向一组工作机器发送探测来获取瞬时负载信息，并将任务分配给负载最轻的工作机器。

3. 项目最近更新的功能

由于 Sparrow 项目自2020年7月26日被其所有者归档，目前处于只读状态，因此没有最近的更新功能。项目的主要开发和更新活动在归档前已经完成。

sparrow Sparrow scheduling platform (U.C. Berkeley). 项目地址: https://gitcode.com/gh_mirrors/sparro/sparrow