分布式作业 Elastic-Job-Lite 源码分析 —— 作业配置

Elastic-Job-lite 3.x(二)功能介绍&相关源码分析 Elastic-Job-lite 是一个分布式任务调度系统,尝试从以下几个方面分析它的架构设计: 1. 作业执行流程模板化,用户只需要关注任务的实现 2. 任务调度(定时,一次性) 3. 多样化的作业类型 4. 面向开发者的扩展点 5. 作业间依赖关系 1. 作业监听器 2. DAG(暂无) 6. 分布式 1. 注册中心,配置中心 2. 高可用,弹性伸缩 7. 作业治理 1. 故障转移 2. 错过再执行 3. 自诊断修复 8. 适配主流框架 9. 面向用户的API是否易用 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/Elastic-Job/job-config/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文基于 Elastic-Job V2.1.5 版本分享

  • 1. 概述

  • 2. 作业配置

  • 3. 作业配置服务

  • 666. 彩蛋


1. 概述

本文主要分享 Elastic-Job-Lite 作业配置。

涉及到主要类的类图如下( 打开大图 ):


  • 黄色的类在 elastic-job-common-core 项目里,为 Elastic-Job-Lite、Elastic-Job-Cloud 公用作业配置类。

另外建议你已经( 非必须 ):

  • 阅读过《官方文档 —— 配置手册》

  • 运行过 JavaMain.java

你行好事会因为得到赞赏而愉悦 
同理,开源项目贡献者会因为 Star 而更加有动力 
为 Elastic-Job 点赞!传送门

2. 作业配置

一个作业( ElasticJob )的调度,需要配置独有的一个作业调度器( JobScheduler ),两者是 1 : 1 的关系。这点大家要注意下,当然下文看代码也会看到。

作业调度器的创建可以配置四个参数:

  1. 注册中心( CoordinatorRegistryCenter ):用于协调分布式服务。必填。

  2. Lite作业配置( LiteJobConfiguration ):必填。

  3. 作业事件总线( JobEventBus ):对作业事件异步监听。选填。

  4. 作业监听器( ElasticJobListener ):对作业执行前,执行后进行同步监听。选填。

2.1 注册中心配置

Elastic-Job 抽象了注册中心接口( RegistryCenter ),并提供了默认基于 Zookeeper 的注册中心实现( ZookeeperRegistryCenter )。

ZookeeperRegistryCenter 对应配置类为 ZookeeperConfiguration。该类注释很完整,可以点击链接直接查看源码,这里我们重点说下 namespace 属性。如果你有多个不同 Elastic-Job集群 时,使用相同 Zookeeper,可以配置不同的 namespace 进行隔离。

注册中心的初始化,我们会在《Elastic-Job-Lite 源码解析 —— 注册中心》详细分享。

2.2 Lite作业配置

LiteJobConfiguration 继承自接口 JobRootConfiguration,作为 Elastic-Job-Lite 里的作业( LiteJob )配置。Elastic-Job-Cloud 的作业( CloudJob )对应另外的配置类,也实现了该接口。

public final class LiteJobConfiguration implements JobRootConfiguration {

    private final JobTypeConfiguration typeConfig;
    private final boolean monitorExecution;
    private final int maxTimeDiffSeconds;
    private final int monitorPort;
    private final String jobShardingStrategyClass;
    private final int reconcileIntervalMinutes;
    private final boolean disabled;
    private final boolean overwrite;

    // .... 省略部分get方法

    public static class Builder {

        // .... 省略部分属性

        public final LiteJobConfiguration build() {
            return new LiteJobConfiguration(jobConfig, monitorExecution, maxTimeDiffSeconds, monitorPort, jobShardingStrategyClass, reconcileIntervalMinutes, disabled, overwrite);
        }
    }
}
  • typeConfig:作业类型配置。必填。

  • monitorExecution:监控作业运行时状态。默认为 false。选填。在《Elastic-Job-Lite 源码解析 —— 作业执行》详细分享。

    每次作业执行时间和间隔时间均非常短的情况,建议不监控作业运行时状态以提升效率。因为是瞬时状态,所以无必要监控。请用户自行增加数据堆积监控。并且不能保证数据重复选取,应在作业中实现幂等性。 
    每次作业执行时间和间隔时间均较长的情况,建议监控作业运行时状态,可保证数据不会重复选取。

  • monitorPort:作业监控端口。默认为 -1,不开启作业监控端口。选填。在《Elastic-Job-Lite 源码解析 —— 作业监控服务》详细分享。

    建议配置作业监控端口, 方便开发者dump作业信息。 
    使用方法: echo “dump” | nc 127.0.0.1 9888

  • maxTimeDiffSeconds:设置最大容忍的本机与注册中心的时间误差秒数。默认为 -1,不检查时间误差。选填。

  • jobShardingStrategyClass:作业分片策略实现类全路径。默认为使用分配侧路。选填。在《Elastic-Job-Lite 源码解析 —— 作业分片策略》详细分享。

  • reconcileIntervalMinutes:修复作业服务器不一致状态服务调度间隔时间,配置为小于1的任意值表示不执行修复。默认为 10。在《Elastic-Job-Lite 源码解析 —— 自诊断修复 》详细分享。

  • disabled:作业是否禁用执行。默认为 false。选填。

  • overwrite:设置使用本地作业配置覆盖注册中心的作业配置。默认为 false。选填。建议使用运维平台( console )配置作业配置,统一管理。

  • Builder 类:使用该类配置 LiteJobConfiguration 属性,调用 #build() 方法最终生成作业配置。参见:《JAVA设计模式 — 生成器模式(Builder)》。

2.2.1 作业类型配置

作业类型配置接口( JobTypeConfiguration ) 有三种配置实现,针对三种作业类型:

配置实现作业说明
SimpleJobConfigurationSimpleJob简单作业。例如:订单过期作业
DataflowJobConfigurationDataflowJob数据流作业。TODO:笔者暂时未了解流式处理数据,不误人子弟
ScriptJobConfigurationScriptJob脚本作业。例如:调用 shell 脚本备份数据库作业

三种配置类属性对比如:

属性SimpleJobDataflowJobScriptJob说明
coreConfig√√√作业核心配置
jobTypeJobType.SIMPLEJobType.DATAFLOWJobType.SCRIPT作业类型
jobClass√√√ (默认:ScriptJob.class)作业实现类全路径
streamingProcess
√
是否流式处理数据
scriptCommandLine

√脚本型作业执行命令行

作业类型配置不仅仅适用于 Elastic-Job-Lite,也适用于 Elastic-Job-Cloud。

2.2.2 作业核心配置

作业核心配置( JobCoreConfiguration ),我们可以看到在每种作业类型配置都有该属性( coreConfig )。

public final class JobCoreConfiguration {

    private final String jobName;
    private final String cron;
    private final int shardingTotalCount;
    private final String shardingItemParameters;
    private final String jobParameter;
    private final boolean failover;
    private final boolean misfire;
    private final String description;
    private final JobProperties jobProperties;

    public static class Builder {

        // .... 省略部分属性

        public final JobCoreConfiguration build() {
            Preconditions.checkArgument(!Strings.isNullOrEmpty(jobName), "jobName can not be empty.");
            Preconditions.checkArgument(!Strings.isNullOrEmpty(cron), "cron can not be empty.");
            Preconditions.checkArgument(shardingTotalCount > 0, "shardingTotalCount should larger than zero.");
            return new JobCoreConfiguration(jobName, cron, shardingTotalCount, shardingItemParameters, jobParameter, failover, misfire, description, jobProperties);
        }
    }
}
  • jobName:作业名称。必填。

  • cron:cron表达式,用于控制作业触发时间。必填。

  • shardingTotalCount:作业分片总数。如果一个作业启动超过作业分片总数的节点,只有 shardingTotalCount会执行作业。必填。在《Elastic-Job-Lite 源码解析 —— 作业分片策略 》详细分享。

  • shardingItemParameters:分片序列号和参数。选填。

    分片序列号和参数用等号分隔,多个键值对用逗号分隔 
    分片序列号从0开始,不可大于或等于作业分片总数 
    如: 
    0=a,1=b,2=c

  • jobParameter:作业自定义参数。选填。

    作业自定义参数,可通过传递该参数为作业调度的业务方法传参,用于实现带参数的作业 
    例:每次获取的数据量、作业实例从数据库读取的主键等

  • failover:是否开启作业执行失效转移。开启表示如果作业在一次作业执行中途宕机,允许将该次未完成的作业在另一作业节点上补偿执行。默认为 false。选填。在《Elastic-Job-Lite 源码解析 —— 作业失效转移 》详细分享。

  • misfire:是否开启错过作业重新执行。默认为 true。选填。在《Elastic-Job-Lite 源码解析 —— 作业执行 》详细分享。

  • description:作业描述。选填。

  • jobProperties:作业属性配置。选填。在《Elastic-Job-Lite 源码解析 —— 作业执行 》详细分享。

    public final class JobProperties {
    private EnumMap<JobPropertiesEnum, String> map = new EnumMap<>(JobPropertiesEnum.class);
       public enum JobPropertiesEnum {
        /**
         * 作业异常处理器.
         */
        JOB_EXCEPTION_HANDLER("job_exception_handler", JobExceptionHandler.class, DefaultJobExceptionHandler.class.getCanonicalName()),

        /**
         * 线程池服务处理器.
         */
        EXECUTOR_SERVICE_HANDLER("executor_service_handler", ExecutorServiceHandler.class, DefaultExecutorServiceHandler.class.getCanonicalName());

        private final String key;

        private final Class<?> classType;

        private final String defaultValue;
       }
    }
    • JOB_EXCEPTION_HANDLER:用于扩展异常处理类。

    • EXECUTOR_SERVICE_HANDLER:用于扩展作业处理线程池类。

    • 通过这个属性,我们可以自定义每个作业的异常处理和线程池服务。

2.3 作业事件配置

通过作业事件配置( JobEventConfiguration ),实现对作业事件的异步监听、处理。在《Elastic-Job-Lite 源码解析 —— 作业事件追踪》详细分享。

2.4 作业监听器

通过配置作业监听器( ElasticJobListener ),实现对作业执行的同步监听、处理。在《Elastic-Job-Lite 源码解析 —— 作业监听器》详细分享。

3. 作业配置服务

多个 Elastic-Job-Lite 使用相同注册中心和相同 namespace 组成集群,实现高可用。集群中,使用作业配置服务( ConfigurationService ) 共享作业配置。

public final class ConfigurationService {

    /**
     * 时间服务
     */
    private final TimeService timeService;
    /**
     * 作业节点数据访问类
     */
    private final JobNodeStorage jobNodeStorage;

    public ConfigurationService(final CoordinatorRegistryCenter regCenter, final String jobName) {
        jobNodeStorage = new JobNodeStorage(regCenter, jobName);
        timeService = new TimeService();
    }
}
  • JobNodeStorage,封装注册中心,提供存储服务。在《Elastic-Job-Lite 源码解析 —— 作业数据存储》详细分享。

  • TimeService,时间服务,提供当前时间查询。

    public final class TimeService {
    /**
     * 获取当前时间的毫秒数.
     * 
     * @return 当前时间的毫秒数
     */
    public long getCurrentMillis() {
        return System.currentTimeMillis();
    }
    }

3.1 读取作业配置

/**
* 读取作业配置.
* 
* @param fromCache 是否从缓存中读取
* @return 作业配置
*/
public LiteJobConfiguration load(final boolean fromCache) {
   String result;
   if (fromCache) { // 缓存
       result = jobNodeStorage.getJobNodeData(ConfigurationNode.ROOT);
       if (null == result) {
           result = jobNodeStorage.getJobNodeDataDirectly(ConfigurationNode.ROOT);
       }
   } else {
       result = jobNodeStorage.getJobNodeDataDirectly(ConfigurationNode.ROOT);
   }
   return LiteJobConfigurationGsonFactory.fromJson(result);
}

3.2 持久化作业配置

/**
* 持久化分布式作业配置信息.
* 
* @param liteJobConfig 作业配置
*/
public void persist(final LiteJobConfiguration liteJobConfig) {
   checkConflictJob(liteJobConfig);
   if (!jobNodeStorage.isJobNodeExisted(ConfigurationNode.ROOT) || liteJobConfig.isOverwrite()) {
       jobNodeStorage.replaceJobNode(ConfigurationNode.ROOT, LiteJobConfigurationGsonFactory.toJson(liteJobConfig));
   }
}
  • 调用 #checkConflictJob(...) 方法校验注册中心存储的作业配置的作业实现类全路径( jobClass )和当前的是否相同,如果不同,则认为是冲突,不允许存储:

    private void checkConflictJob(final LiteJobConfiguration liteJobConfig) {
       Optional<LiteJobConfiguration> liteJobConfigFromZk = find();
       if (liteJobConfigFromZk.isPresent()
               && !liteJobConfigFromZk.get().getTypeConfig().getJobClass().equals(liteJobConfig.getTypeConfig().getJobClass())) { // jobClass 是否相同
           throw new JobConfigurationException("Job conflict with register center. The job '%s' in register center's class is '%s', your job class is '%s'", 
                   liteJobConfig.getJobName(), liteJobConfigFromZk.get().getTypeConfig().getJobClass(), liteJobConfig.getTypeConfig().getJobClass());
       }
    }
  • 当注册中心未存储该作业配置 或者 当前作业配置允许替换注册中心作业配置( overwrite = true )时,持久化作业配置。

3.3 校验本机时间是否合法

/**
* 检查本机与注册中心的时间误差秒数是否在允许范围.
* 
* @throws JobExecutionEnvironmentException 本机与注册中心的时间误差秒数不在允许范围所抛出的异常
*/
public void checkMaxTimeDiffSecondsTolerable() throws JobExecutionEnvironmentException {
   int maxTimeDiffSeconds =  load(true).getMaxTimeDiffSeconds();
   if (-1  == maxTimeDiffSeconds) {
       return;
   }
   long timeDiff = Math.abs(timeService.getCurrentMillis() - jobNodeStorage.getRegistryCenterTime());
   if (timeDiff > maxTimeDiffSeconds * 1000L) {
       throw new JobExecutionEnvironmentException(
               "Time different between job server and register center exceed '%s' seconds, max time different is '%s' seconds.", timeDiff / 1000, maxTimeDiffSeconds);
   }
}
  • Elastic-Job-Lite 作业触发是依赖本机时间,相同集群使用注册中心时间为基准,校验本机与注册中心的时间误差是否在允许范围内( LiteJobConfiguration.maxTimeDiffSeconds )。

666. 彩蛋

Elastic-Job-Lite 源码解析系列第一篇文章,希望大家多多支持,预计全部更新完会有 15+ 篇。Elastic-Job-Cloud 源码系列后续也会更新。

道友,分享一波微信朋友圈支持支持支持,可好?



如果你对 Dubbo 感兴趣,欢迎加入我的知识星球一起交流。


知识星球

目前在知识星球(https://t.zsxq.com/2VbiaEu)更新了如下 Dubbo 源码解析如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

...
一共 60 篇++

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

Elastic-Job-Lite 2.1.5分布式任务调度控制台实战部署包 经过这一番深入剖析,我想你已经明白:一个好的分布式调度框架,绝不只是“按时执行任务”那么简单。它的真正价值在于——让复杂变得简单,让故障变得无感,让扩展变得自由。Elastic-Job-Lite 虽然轻量,但它所蕴含的设计哲学值得每一位工程师深思。无论是 ZooKeeper 的事件驱动模型,还是分片策略的灵活扩展,亦或是控制台提供的可视化能力,都在告诉我们:稳定性不是堆出来的,而是设计出来的✨。 阅读详情

相关推荐

Elastic-Job控制台2.1.5

博客地址http://blog.youkuaiyun.com/qq_34021712/article/details/79055873

Java使用elasticjob实现定时任务(v2.1.5)

java使用elasticjob实现定时任务(2.1.5)

m0_60707623的博客 1131

从时序精度到视觉盛宴:PY32F030驱动WS2812的工程艺术与避坑指南

本文深入探讨了基于PY32F030微控制器驱动WS2812智能LED的完整解决方案。通过精确的时序控制、硬件PWM结合DMA传输技术,实现了稳定可靠的驱动效果,并提供了电源管理、信号完整性和常见问题排查等实用避坑指南,帮助开发者轻松应对严格的纳秒级时序挑战。

wind6的博客 121

Elastic-job使用2.1.5

Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务。关于Elastic-Job-Lite官网文档写的已经非常详细了:这里有一个对数据数据,进行分片处理的demo :点此下载。maven依赖&lt;dep...

这个名字想了很久 2408

对称加密和非对称加密,数字签名和证书

在对称加密中,任何人都可以使用公钥进行加密。在数字签名中,任何人都可以使用公钥验证签名。数字签名,其实就是将非对称加密反过来使用。公钥私钥非对称加密发送者加密时使用接收者解密时使用数字签名验证者验证签名时使用签名者生成签名时使用谁持有密钥?只要有需要,任何人都可以持有个人持有既然是加密,那肯定是不希望别人知道我的消息,所以只有我才能解密。公钥负责加密,私钥负责解密。既然是签名,那肯定是不希望有人冒充我发消息,所以只有我才能签名。私钥负责签名,公钥负责验签。

m0_70432049的博客 1410

基于elastic-job-lite 2.1.5版本的迭代内容

【功能提升】支持多机房多单元的部署方案; 【细节优化】作业执行历史不采用异步入库的方式,采用1.x版本的写入注册中心然后再定时同步入库的方式; 【细节优化】完善作业名称、分片数量、cron表达式等作业配置的启动校验,校验不通过则抛出异常; 【缺陷修复】修复失效转移,只监听正在运行或正在执行失效转移的作业服务实例下线的情况,参考1.x的处理方式; 【细节优...

戴面罩的怪杰 586

Linux之SUSE系统SAP-HANA经常系统内存不足使得SAP应用不能使用解决方案

问题描述 Linux内存使用量超过阈值,使得sap应用程序无可用内存,最终导致程序崩溃。 问题原因 自己查阅了一些资料,也基于zabbix的可用内存和实际不太一样入手去找原因发现问题出现于Cached的值过大,导致系统没有可以再分配的内存空间。Cached只要用来缓存文件的,经常读写的文件会被缓存到Cached中,可以增加读写效率,该功能是Linux系统内核提供的,而SAP-HANA的日志文件很大...

liuxiangyang_的博客 6712

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业事件追踪

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 1840

3、提升管壳式换热器能效:双螺旋盘管的应用研究

本研究探讨了在管壳式热交换器中应用双螺旋盘管以提升能效的可行性。通过实验对比双螺旋与单螺旋盘管的热传递效率,结果显示双螺旋盘管达到54.33%的效率,显著优于单螺旋的48.88%。双螺旋结构不仅增大了换热面积,还因产生剪切应力而减少结垢,延长运行周期。采用NTU方法评估热传递性能,验证了该设计在工业应用中的高效性与实用性,建议在制冷、空调、石油精炼等领域推广使用。

k8s6orchestrator的博客 109

夯爆了!这两组AI漫剧校园风人物三视图(附详细提示词)

生成一张高清8K图像,图像主体是一位亚洲年轻女性,拥有长直黑发和精致的五官,她穿着一套由白色衬衫、深红色领带、深蓝色牛仔外套和深蓝色牛仔百褶短裙组成的制服,搭配灰色长筒袜和黑色厚底皮鞋。图像由四部分组成,左一为女性特写头像,面部表情自然,眼神柔和,右侧三张图分别展示了女性的正面、侧面和背面全身像,整体构图均衡,遵循三分法则。图像整体呈现出一种类似于3D渲染的摄影风格,背景为纯白色,采用高对比度照明,强调主体细节和质感,色彩调色板以深蓝色和白色为主,整体色调清新自然,注重质感和光影效果的呈现。

欢迎来到鸾姝淡月博客,专为程序员和编程爱好者打造的技术博客。我们分享编程语言趋势、开发工具、编程哲学、职业发展等,助你掌握新技术,优化技能,激发编程热情。 163

Elastic-Job-Lite 源码分析 —— 作业执行

1. 概述 本文主要分享Elastic-Job-Lite 作业执行。 涉及到主要类的类图如下(打开大图): 黄色的类在elastic-job-common-core项目里,为 Elastic-Job-Lite、Elastic-Job-Cloud公用作业执行类。 2. Lite调度作业 Lite调度作业( LiteJob ),作业被调度后,调用#execute()执行作业。 为什么是 LiteJob 作为入口呢? 在《Elastic-Job-Lite 源码分析 —— 作业初始化...

weixin_42073629的博客 562

课程1:认识Asp.net Core Web API

本文是《.Net Core从零学习搭建权限管理系统》教程专栏的导航站(点击链接,跳转到专栏主页,欢迎订阅,持续更新…)专栏介绍:以实战为线索,基于.Net 7 + REST + Vue、前后端分离,不依赖任何第三方框架,从零一步一步讲解权限管理系统搭建。专栏适用于人群:Web后端开发人员Web API是一个很广泛的概念,Asp.net Core Web API是.NET框架用于创建RESTful风格的项目、用于轻松构建可供多个客户端访问的HTTP服务。1、支持RestFul风格编程;

成长的足迹 1256

Elastic-Job-Lite分片机制源码详解

本文深入分析了Elastic-Job-Lite的作业分片机制,主要内容包括:1. 基本概念:介绍了分片的定义与目的,以及分片项与业务逻辑解耦的设计思想。2. 分片策略:详细解析了平均分配、奇偶排序和轮询分配三种策略的实现原理和应用场景。3. 执行流程:从quartz初始化到分片上下文获取,再到作业执行器处理分片的完整过程。4. 高可用机制:包括主节点选举、失效转移和弹性伸缩等容错功能。5. 实践建议:提供了策略选择指南和常见问题解决方案。文章通过源码分析揭示了Elastic-Job-Lite如何实现分布式任

油墨香^-^的博客 867

【毕设保姆级指南】基于YOLOv8的DAGM 2007工业缺陷检测系统从搭建到落地

本教程基于YOLOv8算法实现DAGM 2007工业缺陷检测系统,包含数据处理、模型训练和可视化界面开发全流程。首先对DAGM数据集进行格式转换和划分,然后通过YOLOv8训练工业缺陷检测模型,最终构建PyQt5交互界面实现缺陷可视化检测。该系统可用于智能制造中的产品质量控制,帮助快速定位工业产品缺陷,提升检测效率和准确性,为工业质检提供高效解决方案。

LXY_LOVE36的博客 187

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Elastic-Job-Lite 源码分析 —— 自诊断修复

1. 概述 本文主要分享Elastic-Job-Lite 自诊断修复。 在分布式的场景下由于网络、时钟等原因,可能导致 Zookeeper 的数据与真实运行的作业产生不一致,这种不一致通过正向的校验无法完全避免。需要另外启动一个线程定时校验注册中心数据与真实作业状态的一致性,即维持 Elastic-Job 的最终一致性。 涉及到主要类的类图如下(打开大图): 在 Elastic-Job-lite 里,调解分布式作业不一致状态服务( ReconcileService ) 实现了自诊断修复...

weixin_42073629的博客 392

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Elastic-Job-Lite 源码分析 —— 作业监控服务

1. 概述 本文主要分享Elastic-Job-Lite 作业监控服务。内容对应《官方文档 —— DUMP作业运行信息》。 使用Elastic-Job-Lite过程中可能会碰到一些分布式问题,导致作业运行不稳定。 由于无法在生产环境调试,通过dump命令可以把作业内部相关信息dump出来,方便开发者debug分析; 另外为了不泄露隐私,已将相关信息中的ip地址以ip1, ip2…的形式过滤,可以在互联网上公开传输环境信息,便于进一步完善Elastic-Job。 涉及到主要类的类图如下(打开大图..

weixin_42073629的博客 389

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

分布式作业 Elastic-Job-Lite 源码分析 —— 作业分片

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 351

Elastic-Job-Lite 源码分析:作业事件追踪机制万字详解

Elastic-Job分布式任务调度框架的事件追踪机制是其可观测性核心,通过JobStatusTraceEvent和JobExecutionEvent两种事件类型,完整记录作业生命周期。该机制采用异步事件总线架构,基于Google Guava EventBus实现发布-订阅模式,确保对作业执行性能影响最小化。系统提供关系型数据库存储方案,自动创建JOB_STATUS_TRACE_LOG和JOB_EXECUTION_LOG表,并支持自定义事件监听器扩展。事件追踪功能为运维监控、问题诊断和性能优化提供数据支撑,

油墨香^-^的博客 598

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业数据存储

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 410

Elastic-Job-Lite注册中心源码详解

Elastic-Job-Lite注册中心源码深度解析:本文系统分析了Elastic-Job-Lite注册中心的架构设计与实现机制。作为分布式调度的核心组件,注册中心基于ZooKeeper构建,采用事件驱动架构实现作业协调、配置管理、状态跟踪等功能。文章详细解析了节点树结构(包括/config、/instances等核心节点),深入剖析了JobNodeStorage、ListenerManager等核心组件的实现原理,重点阐述了选举监听、分片监听、失效转移监听等关键机制,并介绍了连接状态处理策略。通过分层设计

油墨香^-^的博客 1008

分布式作业 Elastic-Job-Lite 源码分析 —— 注册中心

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 602

分布式作业系统 Elastic-Job-Cloud 源码分析 —— 作业调度(二)

本文基于 Elastic-Job V2.1.5 版本分享 1. 概述 2. 云作业操作 3. 云作业应用操作 1. 概述 本文主要分享Elastic-Job-Cloud 云作业应用配置和云作业配置变更对作业调度的影响,作为《Elastic-Job-Cloud 源码分析 —— 作业调度(一)》的补充内容。所以需要你对作业调度已经有一定了解的基础上。 2. 云作业操...

qiujiavip的博客 251

深入Elastic-Job源码(版本2.1.5)

写在前面 目前公司使用的作业调度工具是Elastic-Job,版本2.1.5,三月份因为失效转移配置出过一次线上事故,排查问题的过程中粗略的读了一下源码,刚好借此机会深入理解一下Elastic-Job 。 总体架构 注:图片来自https://github.com/elasticjob/elastic-job-lite 概述 Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项...

yangfang的博客 1316

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业分片

摘要: 原创出处 http://www.iocoder.cn/Elastic-Job/job-sharding/ 「芋道源码」欢迎转载,保留摘要,谢谢! 本文基于 Elastic-Job V2.1.5 版本分享 1. 概述 2. 作业分片条件 3. 分配作业分片项 4. 获取作业分片上下文集合 666. 彩蛋 ������关注微信公众号:【芋道源码】有福利: 1. R...

芋艿V 1273
上一篇: 大型分布式网站术语分析 15 条,你知道几条?
下一篇: 一起来学 SpringBoot 2.x | 第七篇:整合 Mybatis
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值