赫拉(Hera)：强大的分布式任务调度系统

最新推荐文章于 2024-11-25 18:53:28 发布

劳丽娓Fern

最新推荐文章于 2024-11-25 18:53:28 发布

阅读量601

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00882/article/details/142511868

赫拉(Hera)：强大的分布式任务调度系统

hera hera 分布式任务调度系统大数据任务调度系统任务调度（数据部门专用）项目地址: https://gitcode.com/gh_mirrors/hera/hera

项目介绍

在大数据平台中，随着业务的发展，每天需要调度成千上万的ETL任务。这些任务通常集中在Hive、Shell脚本等调度上。如何确保这些大量的ETL任务能够准确无误地完成调度，甚至在任务执行过程中出现错误时，能够自动恢复并进行错误告警和日志查询，是一个巨大的挑战。Hera任务调度系统正是在这种背景下应运而生的一款分布式调度系统。

Hera是由杭州二维火科技有限公司基于前阿里开源调度系统Zeus进行二次开发的产品。Zeus在2014年开源后，由于缺乏维护，逐渐无法满足现代大数据平台的需求。二维火科技在2015年引入了Zeus，并在其基础上进行了大量的优化和改进，最终形成了Hera。Hera不仅继承了Zeus的强大功能，还增加了许多新的特性，使其能够更好地适应现代大数据平台的调度需求。

项目技术分析

Hera系统采用了严格的主从架构模式，主节点负责任务调度的触发和任务的分发，从节点则负责具体的任务执行。这种架构使得Hera能够轻松应对大规模的任务调度需求，并且支持动态扩展集群规模。

Hera支持多种任务类型，包括Shell、Hive、Python、Spark-SQL、Java等，并且可以动态扩展支持更多的服务器端脚本调度。此外，Hera还支持阿里云和亚马逊的EMR集群，允许任务在这些云端机器上执行，进一步提升了系统的灵活性和扩展性。

项目及技术应用场景

Hera适用于各种需要大规模任务调度的场景，特别是在大数据平台中。以下是一些典型的应用场景：

ETL任务调度：在大数据平台中，每天需要调度大量的ETL任务，Hera能够确保这些任务准确无误地完成调度。
定时任务调度：Hera支持任务的定时调度，可以满足各种定时任务的需求。
任务依赖调度：Hera支持任务之间的依赖关系，确保任务按照正确的顺序执行。
任务失败自动恢复：在任务执行过程中出现错误时，Hera能够自动恢复任务，并进行错误告警和日志查询。
集群动态扩展：Hera支持集群的动态扩展，可以根据任务量的变化灵活调整集群规模。

项目特点

Hera作为一款强大的分布式任务调度系统，具有以下显著特点：

分布式架构：Hera采用主从架构模式，主节点负责任务调度触发与任务分发，从节点作为具体的任务执行器，确保系统的高可用性和可扩展性。
丰富的任务类型支持：Hera支持Shell、Hive、Python、Spark-SQL、Java等多种任务类型，并且可以动态扩展支持更多的服务器端脚本调度。
可视化的任务DAG图：Hera提供可视化的任务DAG图展示，任务的执行严格按照任务的依赖关系执行，方便用户查看任务的执行状态和依赖关系。
任务失败自动恢复：Hera支持任务失败自动恢复，确保任务在出现错误时能够自动恢复执行，减少人工干预。
集群HA：Hera实现了集群的高可用性，支持机器断线重连与心跳恢复，确保在节点单点故障的情况下任务能够自动恢复。
实时日志滚动：Hera支持日志的实时滚动，方便用户实时查看任务的执行日志。
任务告警与通知：Hera支持任务告警定位到个人，告警类型包括邮箱、钉钉、企业微信、短信、电话等，确保任务执行出现问题时能够及时通知相关人员。
支持阿里云和亚马逊EMR：Hera支持阿里云和亚马逊的EMR集群，允许任务在这些云端机器上执行，进一步提升了系统的灵活性和扩展性。