Hera 分布式任务调度系统安装与使用教程

Hera 分布式任务调度系统安装与使用教程

项目地址:https://gitcode.com/gh_mirrors/hera/hera

1. 项目介绍

Hera 是一个分布式任务调度系统，专为大数据任务调度设计。它支持丰富的任务类型，包括 shell、hive、python、spark-sql 和 java 等。Hera 系统严格遵循主从架构模式，主节点负责任务调度触发与任务分发，从节点作为具体的任务执行器。Hera 还支持集群动态扩展、任务失败自动恢复、任务超时提醒等功能。

2. 项目快速启动

2.1 环境准备

• Java 8 或更高版本
• MySQL 数据库
• Maven 3.x

2.2 克隆项目

git clone https://github.com/scxwhite/hera.git
cd hera

2.3 数据库初始化

在 MySQL 中创建数据库 hera，并导入初始化脚本：

CREATE DATABASE hera;
USE hera;
SOURCE hera/hera-admin/resources/hera.sql;

2.4 配置数据库连接

编辑 hera/hera-admin/resources/application.yml 文件，配置数据库连接信息：

druid:
  datasource:
    username: root
    password: moye
    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/hera?characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&autoReconnect=true&allowMultiQueries=true

2.5 打包部署

使用 Maven 打包项目：

mvn clean package -Dmaven.test.skip=true -Pdev

打包完成后，在根目录下会生成一个压缩包。将其解压到服务器上，并修改 config 目录下的 application.yml 配置文件。

2.6 启动 Hera

在解压后的目录中，执行启动脚本：

cd bin
./start.sh

默认登录地址为：http://localhost:8080/hera，账号为 hera，密码为 biadmin。

3. 应用案例和最佳实践

3.1 应用案例

Hera 已被多家公司采用，包括杭州二维火科技有限公司、杭州涂鸦科技有限公司、北京高因科技（居理新房）有限公司等。这些公司利用 Hera 进行大数据任务调度，实现了任务的定时调度、依赖调度和手动调度等功能。

3.2 最佳实践

• 任务依赖管理：通过可视化的任务 DAG 图展示，任务的执行严格按照任务的依赖关系执行，确保任务的顺序和依赖关系正确。
• 任务失败自动恢复：Hera 支持任务失败自动恢复，确保任务在出现错误时能够自动重试，减少人工干预。
• 集群动态扩展：随着业务的发展，Hera 集群可以动态扩展，支持成千上万的任务调度。

4. 典型生态项目

Hera 作为一个分布式任务调度系统，通常与以下生态项目结合使用：

• Hadoop：用于大数据存储和处理。
• Hive：用于数据仓库和 SQL 查询。
• Spark：用于大规模数据处理和分析。
• MySQL：用于存储任务调度的元数据和日志。

通过这些生态项目的结合，Hera 能够在大数据环境中发挥更大的作用，满足复杂的任务调度需求。

hera hera 分布式任务调度系统 大数据任务调度系统 任务调度 （数据部门专用） 项目地址: https://gitcode.com/gh_mirrors/hera/hera