dromara/disjob的监控指标：性能数据采集与展示-优快云博客

dromara/disjob的监控指标：性能数据采集与展示

【免费下载链接】disjob A distributed job scheduling framework 项目地址: https://gitcode.com/dromara/disjob

概述

dromara/disjob作为一款分布式任务调度与计算框架，提供了全面的监控指标采集能力，帮助用户实时掌握系统运行状态、任务执行情况和资源利用率。本文将深入解析disjob的监控指标体系，涵盖数据采集原理、指标类型、API接口以及可视化展示方案。

监控架构设计

整体监控架构

mermaid

监控数据流

mermaid

核心监控指标

Worker节点指标

线程池监控指标

指标名称	数据类型	描述	监控意义
`closed`	boolean	线程池是否关闭	判断Worker状态
`keepAliveTime`	long	线程空闲保持时间(秒)	资源回收策略
`maximumPoolSize`	int	最大线程数	资源上限控制
`currentPoolSize`	int	当前线程总数	资源使用情况
`activePoolSize`	int	活跃线程数	并发处理能力
`idlePoolSize`	int	空闲线程数	资源空闲程度
`queueTaskCount`	long	队列任务数量	任务积压情况
`completedTaskCount`	long	已完成任务数	吞吐量指标

系统级指标

指标类别	具体指标	描述
版本信息	`version`	Disjob框架版本
节点标识	`workerId`	Worker唯一标识
运行时间	`startupTime`	服务启动时间
角色信息	`alsoScheduler`	是否同时为调度节点
JVM状态	`jvmThreadActiveCount`	JVM活跃线程数

调度节点指标

指标名称	数据类型	描述	监控意义
`version`	String	Disjob版本号	版本一致性
`startupTime`	Date	启动时间	服务运行时长
`lastSubscribedEvent`	String	最近订阅事件	事件处理状态
`alsoWorker`	boolean	是否也是Worker	角色配置情况

监控数据采集API

Worker监控接口

// WorkerRpcService.java - Worker监控数据采集接口
@GetMapping("/metrics/get")
WorkerMetrics getMetrics(GetMetricsParam param);

// WorkerMetrics数据结构
public class WorkerMetrics {
    private String version;                    // 版本号
    private String workerId;                   // Worker ID
    private Date startupTime;                  // 启动时间
    private boolean alsoScheduler;             // 是否也是调度节点
    private int jvmThreadActiveCount;          // JVM活跃线程数
    private WorkerThreadPoolMetrics workerThreadPoolMetrics; // 线程池指标
    
    public static class WorkerThreadPoolMetrics {
        private boolean closed;                // 线程池是否关闭
        private long keepAliveTime;            // 空闲线程保持时间
        private int maximumPoolSize;           // 最大线程数
        private int currentPoolSize;           // 当前线程总数
        private int activePoolSize;            // 活跃线程数
        private int idlePoolSize;              // 空闲线程数
        private long queueTaskCount;           // 队列任务数
        private long completedTaskCount;       // 已完成任务数
    }
}

调度节点监控接口

// ExtendedSchedulerRpcService.java - 调度节点监控接口
@GetMapping("/metrics/get")
SchedulerMetrics getMetrics();

// SchedulerMetrics数据结构
public class SchedulerMetrics {
    private String version;                    // 版本号
    private Date startupTime;                  // 启动时间
    private String lastSubscribedEvent;        // 最近订阅事件
    private boolean alsoWorker;                // 是否也是Worker角色
}

监控数据采集实现

Worker指标采集核心代码

// WorkerConfigurator.java - Worker指标采集实现
public static WorkerMetrics metrics() {
    WorkerMetrics metrics = new WorkerMetrics();
    metrics.setVersion(JobConstants.DISJOB_VERSION);
    metrics.setWorkerId(localWorker.getWorkerId());
    metrics.setStartupTime(Dates.toDate(localWorker.getStartupTime()));
    metrics.setAlsoScheduler(Scheduler.local() != null);
    metrics.setJvmThreadActiveCount(Thread.activeCount());
    
    // 采集线程池指标
    if (workerThreadPool != null) {
        metrics.setWorkerThreadPoolMetrics(workerThreadPool.metrics());
    }
    
    metrics.setSignature(localWorker.createWorkerSignatureToken());
    return metrics;
}

// WorkerThreadPool.java - 线程池指标采集
WorkerMetrics.WorkerThreadPoolMetrics metrics() {
    WorkerMetrics.WorkerThreadPoolMetrics metrics = 
        new WorkerMetrics.WorkerThreadPoolMetrics();
    metrics.setClosed(threadPoolState.isStopped());
    metrics.setKeepAliveTime(TimeUnit.NANOSECONDS.toSeconds(keepAliveTime));
    metrics.setMaximumPoolSize(maximumPoolSize);
    metrics.setCurrentPoolSize(workerThreadCounter.get());
    metrics.setActivePoolSize(activePool.size());
    metrics.setIdlePoolSize(idlePool.size());
    metrics.setQueueTaskCount(taskQueue.size());
    metrics.setCompletedTaskCount(completedTaskCounter.get());
    return metrics;
}

调度节点指标采集实现

// SchedulerRpcProvider.java - 调度节点指标采集
public SchedulerMetrics getMetrics() {
    SchedulerMetrics metrics = new SchedulerMetrics();
    metrics.setVersion(JobConstants.DISJOB_VERSION);
    metrics.setStartupTime(Dates.toDate(localScheduler.getStartupTime()));
    metrics.setLastSubscribedEvent(localScheduler.getLastSubscribedEvent());
    metrics.setAlsoWorker(Worker.local() != null);
    return metrics;
}

监控数据聚合与查询

管理后台监控集成

disjob的管理后台基于RuoYi框架构建，提供了完整的监控数据展示能力：

// ServerInvokeService.java - 监控数据聚合服务
public WorkerMetricsResponse getWorkerMetrics(Worker worker) {
    GetMetricsParam param = GetMetricsParam.of(worker.getGroup());
    WorkerMetrics metrics = workerClient.destination(worker).getMetrics(param);
    
    // 验证Worker签名有效性
    if (!Scheduler.local().verifyWorkerSignatureToken(
        worker.getGroup(), metrics.getSignature())) {
        return null;
    }
    
    return ServerMetricsConverter.INSTANCE.convert(metrics);
}

public SchedulerMetricsResponse getSchedulerMetrics(Scheduler scheduler) {
    SchedulerMetrics metrics = schedulerRpcProxy.destination(scheduler).getMetrics();
    return ServerMetricsConverter.INSTANCE.convert(metrics);
}

监控指标应用场景

性能瓶颈分析

通过监控线程池指标，可以识别系统性能瓶颈：

队列积压预警：当queueTaskCount持续增长时，表明任务处理能力不足
资源利用率优化：通过activePoolSize和idlePoolSize比例调整线程池配置
吞吐量监控：completedTaskCount反映系统处理能力

系统健康检查

mermaid

容量规划指导

基于历史监控数据进行容量规划：

监控指标	容量规划意义	预警阈值
`activePoolSize`	并发处理能力	≥80% maximumPoolSize
`queueTaskCount`	任务积压程度	持续增长趋势
`completedTaskCount`	系统吞吐量	同比下降20%

监控数据可视化方案

管理后台监控面板

disjob管理后台提供以下监控视图：

节点状态监控：实时显示所有Worker和调度节点的运行状态
线程池监控：可视化展示各Worker节点的线程池使用情况
任务执行看板：实时监控任务执行进度和队列状态
历史趋势分析：基于时间序列的指标变化趋势图

自定义监控集成

用户可以通过以下方式集成自定义监控：

// 自定义监控数据采集示例
public class CustomMonitorService {
    
    @Scheduled(fixedRate = 5000) // 每5秒采集一次
    public void collectMetrics() {
        // 获取Worker监控数据
        WorkerMetrics workerMetrics = WorkerConfigurator.metrics();
        
        // 获取调度节点监控数据
        SchedulerMetrics schedulerMetrics = schedulerRpcProxy.getMetrics();
        
        // 推送到自定义监控系统
        pushToMonitoringSystem(workerMetrics, schedulerMetrics);
    }
    
    private void pushToMonitoringSystem(WorkerMetrics worker, SchedulerMetrics scheduler) {
        // 集成Prometheus、Grafana等监控系统
        // 或推送到企业内部的监控平台
    }
}

最佳实践建议

监控配置优化

采集频率：根据业务需求调整监控数据采集频率，建议5-30秒
数据保留：重要指标建议保留30-90天历史数据
告警阈值：设置合理的告警阈值，避免误报和漏报

性能监控重点

监控维度	关键指标	优化建议
线程池	activePoolSize, queueTaskCount	调整线程池大小和队列容量
任务处理	completedTaskCount	优化任务处理逻辑
系统资源	jvmThreadActiveCount	监控JVM资源使用
节点状态	startupTime, version	确保节点版本一致性

故障排查指南

当监控指标出现异常时，可按以下流程排查：

mermaid

总结

dromara/disjob提供了完善的监控指标体系，涵盖从线程池状态、任务执行情况到系统运行状态的全面监控。通过合理的监控配置和可视化展示，可以帮助用户：

实时掌握分布式调度集群的运行状态
快速识别和定位系统性能瓶颈
基于数据驱动进行容量规划和优化
建立完善的故障预警和排查机制

监控指标作为分布式系统的重要观测手段，disjob的设计充分考虑了生产环境的需求，为大规模分布式任务调度提供了可靠的监控保障。

【免费下载链接】disjob A distributed job scheduling framework 项目地址: https://gitcode.com/dromara/disjob

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考