Big Whale 项目推荐

Big Whale 项目推荐

项目基础介绍和主要编程语言

Big Whale 是一个由 MeetYouDevs 团队开发的分布式计算任务调度系统，主要用于 Spark 和 Flink 等离线任务的调度和实时任务的监控。该项目基于 Spring Boot 2.0 开发，打包后即可运行。Big Whale 的主要编程语言是 Java，同时也使用了少量的 Shell 脚本。

项目核心功能

Big Whale 的核心功能包括：

1. 离线任务调度：支持 Spark 和 Flink 等批处理任务的 DAG 调度，能够处理复杂的任务编排。
2. 实时任务监控：提供流处理任务的运行管理和状态监控，支持异常重启和批次积压告警。
3. Yarn 应用管理：具有 Yarn 应用管理功能，支持重复应用检测和大内存应用检测。
4. 任务依赖和重试：支持任务之间的依赖关系，并提供失败重试机制。
5. 脚本执行机制：基于 SSH 的脚本执行机制，部署简单快捷。

项目最近更新的功能

Big Whale 最近更新的功能包括：

1. DAG 支持：从 v1.1 版本开始，Big Whale 支持 DAG（有向无环图）调度，使得任务编排更加灵活和高效。
2. DAG 节点失败重试：从 v1.2 版本开始，Big Whale 支持 DAG 节点失败重试，增强了任务调度的容错能力。
3. 调度引擎重构升级：v1.3 版本对调度引擎进行了重构升级，提升了系统的稳定性和性能，但需要注意的是，该版本不支持从旧版本直接升级，原有任务需要手动迁移。

通过这些更新，Big Whale 进一步提升了其在分布式计算任务调度领域的实用性和可靠性，为大数据处理提供了更加强大的支持。