Mesos/Chronos REST API 完全指南：从基础到高级应用-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00723/article/details/148526918

Mesos/Chronos REST API 完全指南：从基础到高级应用

chronos Fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules 项目地址: https://gitcode.com/gh_mirrors/ch/chronos

概述

Mesos/Chronos 是一个分布式任务调度系统，它提供了强大的 REST API 接口，允许开发者通过 HTTP 请求来管理和监控定时任务。本文将全面介绍 Chronos 的 REST API 功能，从基础操作到高级应用场景。

基础概念

领导者选举机制

在 Chronos 集群中，多个节点通过选举产生一个领导者节点。这个领导者节点负责处理所有 API 请求，非领导者节点会自动将请求重定向到领导者节点。

获取当前领导者节点：

端点：/leader
方法：GET
示例响应：

{"leader": "192.168.1.100:8080"}

任务管理

1. 列出所有任务

获取当前系统中所有已配置的任务列表。

端点：/v1/scheduler/jobs
方法：GET
响应字段说明：
- successCount: 任务成功执行次数
- errorCount: 任务失败次数
- lastSuccess: 最后一次成功执行时间
- lastError: 最后一次失败时间
- parents: 依赖任务的父任务列表

2. 搜索任务

支持按名称、命令内容或任意关键词搜索任务。

端点：/v1/scheduler/jobs/search
方法：GET
查询参数：
- name: 按任务名称搜索
- command: 按命令内容搜索
- any: 在名称或命令中搜索关键词

3. 删除任务

删除指定的任务。

端点：/v1/scheduler/job/<jobName>
方法：DELETE

4. 终止任务运行

强制终止指定任务的所有运行实例。

端点：/v1/scheduler/task/kill/<jobName>
方法：DELETE

5. 手动触发任务

立即执行指定任务。

端点：/v1/scheduler/job
方法：PUT
可选参数：
- arguments: 传递给任务的命令行参数

任务调度

1. 定时任务

创建按固定时间间隔执行的周期性任务。

端点：/v1/scheduler/iso8601
方法：POST
关键配置字段：
- schedule: ISO 8601 格式的时间表达式
- epsilon: 允许的延迟时间窗口
- owner: 负责人邮箱

ISO 8601 时间表达式格式： R{n}/{开始时间}/{间隔时间}

示例配置：

{
  "schedule": "R10/2012-10-01T05:52:00Z/PT2S",
  "name": "SAMPLE_JOB1",
  "epsilon": "PT15M",
  "command": "echo 'FOO' >> /tmp/JOB1_OUT",
  "owner": "bob@example.com",
  "async": false
}

2. 依赖任务

创建基于其他任务执行状态触发的任务。

端点：/v1/scheduler/dependency
方法：POST
关键配置字段：
- parents: 依赖的父任务列表

示例配置：

{
  "name": "data_processing",
  "command": "process_data.sh",
  "parents": ["data_extraction", "data_validation"],
  "epsilon": "PT30M",
  "owner": "alice@example.com"
}

容器化任务

1. Docker 任务

在 Docker 容器中运行任务。

关键配置字段：

container.type: 必须为 "DOCKER"
container.image: Docker 镜像名称
container.network: 网络模式
container.volumes: 挂载卷配置

示例配置：

{
  "name": "docker_job",
  "command": "while sleep 10; do date -u +%T; done",
  "container": {
    "type": "DOCKER",
    "image": "ubuntu",
    "network": "BRIDGE",
    "volumes": [
      {
        "containerPath": "/data",
        "hostPath": "/mnt/data",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.5,
  "mem": 512
}

2. Mesos 容器任务

使用 Mesos 原生容器运行任务。

示例配置：

{
  "container": {
    "type": "MESOS",
    "image": "debian",
    "forcePullImage": true,
    "volumes": [
      {
        "containerPath": "/logs",
        "hostPath": "/var/logs",
        "mode": "RW"
      }
    ]
  }
}

高级功能

1. 外部存储卷

配置使用外部存储卷（如 Docker 卷插件提供的存储）。

示例配置：

"volumes": [
  {
    "mode": "RW",
    "containerPath": "/data",
    "external": {
      "name": "persistent-data",
      "provider": "nfs",
      "options": [
        {
          "key": "server",
          "value": "nfs.example.com"
        }
      ]
    }
  }
]

2. 任务进度更新

手动更新长时间运行任务的进度。

端点：/v1/scheduler/job/<jobName>/task/<taskId>/progress
方法：POST
请求体：

{
  "numAdditionalElementsProcessed": 1000
}

3. 依赖关系图

获取任务依赖关系的图形化表示（DOT 格式）。

端点：/v1/scheduler/graph/dot
方法：GET

任务配置参考

| 配置项 | 描述 | 默认值 | |--------|------|--------| | name | 任务名称 | 必填 | | command | 执行的命令 | 必填 | | arguments | 命令参数 | 空 | | shell | 是否通过shell执行 | true | | retries | 失败重试次数 | 2 | | owner | 负责人邮箱 | 空 | | cpus | CPU资源 | 0.1 | | mem | 内存(MB) | 128 | | disk | 磁盘空间(MB) | 256 | | scheduleTimeZone | 时区设置 | UTC |