分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业数据存储

声音编程(Voice Coding) Talon(一) 基本介绍与安装使用 语音编程平台简介 语音编程工具有哪些:Talon是一款声音编程平台,它追求的意义在于完全取代键盘和鼠标。。当前,全球有两个领先的语音编程平台(Programming-By-Speech Platforms)。一是Serenade,它的作用有点像数字助手,可以让你描述正在编程的命令,而不要求你必须逐字逐句地口述每条指令。另一个就是Talon,它提供了对每一行代码更精细的控制,这也意味着你需要对每一个被编入机器的任务有更细致的把握。具体的差别可以参考文章末尾的Serenade 和 Talon编程的例子。 除了这 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/Elastic-Job/job-storage/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文基于 Elastic-Job V2.1.5 版本分享

  • 1. 概述

  • 2. JobNodePath

  • 3. JobNodeStorage

  • 4. ConfigurationNode

  • 5. ServerNode

  • 6. InstanceNode

  • 7. ShardingNode

  • 8. LeaderNode

  • 9. FailoverNode

  • 10. GuaranteeNode

  • 666. 彩蛋


1. 概述

本文主要分享 Elastic-Job-Lite 作业数据存储。

涉及到主要类的类图如下( 打开大图 ):

你行好事会因为得到赞赏而愉悦  
同理,开源项目贡献者会因为 Star 而更加有动力  
为 Elastic-Job 点赞!传送门

2. JobNodePath

JobNodePath,作业节点路径类。作业节点是在普通的节点前加上作业名称的前缀。

在 Zookeeper 看一个作业的数据存储:

[zk: localhost:2181(CONNECTED) 65] ls /elastic-job-example-lite-java/javaSimpleJob
[leader, servers, config, instances, sharding]
  • elastic-job-example-lite-java:作业节点集群名,使用 ZookeeperConfiguration.namespace 属性配置。

  • javaSimpleJob:作业名字,使用 JobCoreConfiguration.jobName 属性配置。

  • config / servers / instances / sharding / leader:不同服务的数据存储节点路径。

JobNodePath,注释很易懂,点击链接查看。这里我们梳理下 JobNodePath 和其它节点路径类的关系:

Zookeeper 路径JobNodePath 静态属性JobNodePath 方法节点路径类
configCONFIG_NODE#getConfigNodePath()ConfigurationNode
serversSERVERS_NODE#getServerNodePath()ServerNode
instancesINSTANCES_NODE#getInstancesNodePath()InstanceNode
shardingSHARDING_NODE#getShardingNodePath()ShardingNode
leader/#getFullPath(node)LeaderNode
leader/failover/#getFullPath(node)FailoverNode
guarantee/#getFullPath(node)GuaranteeNode

3. JobNodeStorage

JobNodeStorage,作业节点数据访问类。

Elastic-Job-Lite 使用注册中心存储作业节点数据,JobNodeStorage 对注册中心提供的方法做下简单的封装提供调用。举个例子:

// JobNodeStorage.java
private final CoordinatorRegistryCenter regCenter;
private final JobNodePath jobNodePath;

/**
* 判断作业节点是否存在.
* 
* @param node 作业节点名称
* @return 作业节点是否存在
*/
public boolean isJobNodeExisted(final String node) {
   return regCenter.isExisted(jobNodePath.getFullPath(node));
}

// JobNodePath.java
/**
* 获取节点全路径.
* 
* @param node 节点名称
* @return 节点全路径
*/
public String getFullPath(final String node) {
   return String.format("/%s/%s", jobName, node);
}
  • 传递的参数 node 只是简单的作业节点名称,通过调用 JobNodePath#getFullPath(…) 方法获取节点全路径。

  • 其它方法类似,有兴趣的同学点击链接查看。

4. ConfigurationNode

ConfigurationNode,配置节点路径。

在 Zookeeper 看一个作业的配置节点数据存储:

[zk: localhost:2181(CONNECTED) 67] get /elastic-job-example-lite-java/javaSimpleJob/config
{"jobName":"javaSimpleJob","jobClass":"com.dangdang.ddframe.job.example.job.simple.JavaSimpleJob","jobType":"SIMPLE","cron":"0/5 * * * * ?","shardingTotalCount":3,"shardingItemParameters":"0\u003dBeijing,1\u003dShanghai,2\u003dGuangzhou","jobParameter":"","failover":true,"misfire":true,"description":"","jobProperties":{"job_exception_handler":"com.dangdang.ddframe.job.executor.handler.impl.DefaultJobExceptionHandler","executor_service_handler":"com.dangdang.ddframe.job.executor.handler.impl.DefaultExecutorServiceHandler"},"monitorExecution":true,"maxTimeDiffSeconds":-1,"monitorPort":-1,"jobShardingStrategyClass":"","reconcileIntervalMinutes":10,"disabled":false,"overwrite":true}
  • /config 是持久节点,存储Lite作业配置( LiteJobConfiguration ) JSON化字符串。

ConfigurationNode 代码如下:

public final class ConfigurationNode {

    static final String ROOT = "config";
}

ConfigurationNode 如何读取、存储,在《Elastic-Job-Lite 源码分析 —— 作业配置》的「3.」作业配置服务已经详细解析。

5. ServerNode

ServerNode,服务器节点路径。

在 Zookeeper 看一个作业的服务器节点数据存储: 

[zk: localhost:2181(CONNECTED) 72] ls /elastic-job-example-lite-java/javaSimpleJob/servers
[192.168.16.164, 169.254.93.156, 192.168.252.57, 192.168.16.137, 192.168.3.2, 192.168.43.31]
[zk: localhost:2181(CONNECTED) 73] get /elastic-job-example-lite-java/javaSimpleJob/servers/192.168.16.164
  • /servers/ 目录下以 IP 为数据节点路径存储每个服务器节点。如果相同IP服务器有多个服务器节点,只存储一个 IP 数据节点。

  • /servers/${IP} 是持久节点,不存储任何信息,只是空串( "");

ServerNode 代码如下:

public final class ServerNode {

    /**
     * 服务器信息根节点.
     */
    public static final String ROOT = "servers";

    private static final String SERVERS = ROOT + "/%s";
}

ServerNode 如何存储,在《Elastic-Job-Lite 源码分析 —— 作业初始化》的「3.2.4」注册作业启动信息已经详细解析。

6. InstanceNode

InstanceNode,运行实例节点路径。

在 Zookeeper 看一个作业的运行实例节点数据存储: 

[zk: localhost:2181(CONNECTED) 81] ls /elastic-job-example-lite-java/javaSimpleJob/instances
[192.168.16.137@-@56010]
[zk: localhost:2181(CONNECTED) 82] get /elastic-job-example-lite-java/javaSimpleJob/instances
  • /instances 目录下以作业实例主键( JOB_INSTANCE_ID ) 为数据节点路径存储每个运行实例节点。

  • /instances/${JOB_INSTANCE_ID} 是临时节点,不存储任何信息,只是空串( "");

  • JOB_INSTANCE_ID 生成方式:

    // JobInstance.java

    jobInstanceId = IpUtils.getIp()
                    + DELIMITER
                    + ManagementFactory.getRuntimeMXBean().getName().split("@")[0]; // PID

InstanceNode 代码如下:

public final class InstanceNode {

    /**
     * 运行实例信息根节点.
     */
    public static final String ROOT = "instances";

    private static final String INSTANCES = ROOT + "/%s";

    /**
     * 获取当前运行实例节点路径
     *
     * @return 当前运行实例节点路径
     */
    String getLocalInstanceNode() {
        return String.format(INSTANCES, JobRegistry.getInstance().getJobInstance(jobName).getJobInstanceId());
    }
}

InstanceNode 如何存储,在《Elastic-Job-Lite 源码分析 —— 作业初始化》的「3.2.4」注册作业启动信息已经详细解析。

7. ShardingNode

ShardingNode,分片节点路径。

在 Zookeeper 看一个作业的分片节点数据存储: 

[zk: localhost:2181(CONNECTED) 1] ls /elastic-job-example-lite-java/javaSimpleJob/sharding
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 2] ls /elastic-job-example-lite-java/javaSimpleJob/sharding/0
[running, instance, misfire]
[zk: localhost:2181(CONNECTED) 3] get /elastic-job-example-lite-java/javaSimpleJob/sharding/0/instance
192.168.16.137@-@56010
  • /sharding/${ITEM_ID} 目录下以作业分片项序号( ITEM_ID ) 为数据节点路径存储作业分片项的 instance / running / misfire / disable 数据节点信息。

  • /sharding/${ITEM_ID}/instance 是临时节点,存储该作业分片项分配到的作业实例主键( JOB_INSTANCE_ID )。在《Elastic-Job-Lite 源码分析 —— 作业分片》详细解析。

  • /sharding/${ITEM_ID}/running 是临时节点,当该作业分片项正在运行,存储空串( "" );当该作业分片项不在运行,移除该数据节点。《Elastic-Job-Lite 源码分析 —— 作业执行》的「4.6」执行普通触发的作业已经详细解析。

  • /sharding/${ITEM_ID}/misfire 是永久节点,当该作业分片项被错过执行,存储空串( "" );当该作业分片项重新执行,移除该数据节点。《Elastic-Job-Lite 源码分析 —— 作业执行》的「4.7」执行被错过触发的作业已经详细解析。

  • /sharding/${ITEM_ID}/disable 是永久节点,当该作业分片项被禁用,存储空串( "" );当该作业分片项被开启,移除数据节点。

ShardingNode,代码如下:

public final class ShardingNode {

    /**
     * 执行状态根节点.
     */
    public static final String ROOT = "sharding";

    static final String INSTANCE_APPENDIX = "instance";

    public static final String INSTANCE = ROOT + "/%s/" + INSTANCE_APPENDIX;

    static final String RUNNING_APPENDIX = "running";

    static final String RUNNING = ROOT + "/%s/" + RUNNING_APPENDIX;

    static final String MISFIRE = ROOT + "/%s/misfire";

    static final String DISABLED = ROOT + "/%s/disabled";

    static final String LEADER_ROOT = LeaderNode.ROOT + "/" + ROOT;

    static final String NECESSARY = LEADER_ROOT + "/necessary";

    static final String PROCESSING = LEADER_ROOT + "/processing";
}
  • LEADER_ROOT / NECESSARY / PROCESSING 放在「4.7」LeaderNode 解析。

8. LeaderNode

LeaderNode,主节点路径。

在 leader 目录下一共有三个存储子节点:

  • election:主节点选举。

  • sharding:作业分片项分配。

  • failover:作业失效转移。

主节点选举

在 Zookeeper 看一个作业的 leader/election 节点数据存储: 

[zk: localhost:2181(CONNECTED) 1] ls /elastic-job-example-lite-java/javaSimpleJob/leader/election
[latch, instance]
[zk: localhost:2181(CONNECTED) 2] get /elastic-job-example-lite-java/javaSimpleJob/leader/election/instance
192.168.16.137@-@1910
  • /leader/election/instance 是临时节点,当作业集群完成选举后,存储主作业实例主键( JOB_INSTANCE_ID )。

  • /leader/election/latch 主节点选举分布式锁,是 Apache Curator 针对 Zookeeper 实现的分布式锁的一种,笔者暂未了解存储形式,无法解释。在《Elastic-Job-Lite 源码分析 —— 注册中心》的「3.1」在主节点执行操作进行了简单解析。

作业分片项分配

在 Zookeeper 看一个作业的 leader/sharding 节点数据存储: 

[zk: localhost:2181(CONNECTED) 1] ls /elastic-job-example-lite-java/javaSimpleJob/leader/sharding
[necessary, processing]
[zk: localhost:2181(CONNECTED) 2] 个get /elastic-job-example-lite-java/javaSimpleJob/leader/sharding

[zk: localhost:2181(CONNECTED) 3] 个get /elastic-job-example-lite-java/javaSimpleJob/leader/processing
  • /leader/sharding/necessary 是永久节点,当相同作业有新的作业节点加入或者移除时,存储空串( ""),标记需要进行作业分片项重新分配;当重新分配完成后,移除该数据节点。

  • /leader/sharding/processing 是临时节点,当开始重新分配作业分片项时,存储空串( "" ),标记正在进行重新分配;当重新分配完成后,移除该数据节点。

  • 当且仅当作业节点为主节点时,才可以执行作业分片项分配,《Elastic-Job-Lite 源码分析 —— 作业分片》详细解析。

作业失效转移

作业失效转移数据节点在 FailoverNode,放在「9」FailoverNode 解析。

这里大家可能会和我一样比较疑惑,为什么 /leader/failover 放在 /leader 目录下,而不独立成为一个根目录?经过确认,作业失效转移 设计到分布式锁,统一存储在 /leader 目录下。


LeaderNode,代码如下:

public final class LeaderNode {

    /**
     * 主节点根路径.
     */
    public static final String ROOT = "leader";

    static final String ELECTION_ROOT = ROOT + "/election";

    static final String INSTANCE = ELECTION_ROOT + "/instance";

    static final String  LATCH = ELECTION_ROOT + "/latch";
}

9. FailoverNode

FailoverNode,失效转移节点路径。

在 Zookeeper 看一个作业的失效转移节点数据存储: 

[zk: localhost:2181(CONNECTED) 2] ls /elastic-job-example-lite-java/javaSimpleJob/leader/failover
[latch, items]
[zk: localhost:2181(CONNECTED) 4] ls /elastic-job-example-lite-java/javaSimpleJob/leader/failover/items
[0]
  • /leader/failover/latch 作业失效转移分布式锁,和 /leader/failover/latch 是一致的。

  • /leader/items/${ITEM_ID} 是永久节点,当某台作业节点 CRASH 时,其分配的作业分片项标记需要进行失效转移,存储其分配的作业分片项的 /leader/items/${ITEM_ID} 为空串( "" );当失效转移标记,移除 /leader/items/${ITEM_ID},存储 /sharding/${ITEM_ID}/failover 为空串( "" ),临时节点,需要进行失效转移执行。《Elastic-Job-Lite 源码分析 —— 作业失效转移》详细解析。

FailoverNode 代码如下:

public final class FailoverNode {

    static final String FAILOVER = "failover";

    static final String LEADER_ROOT = LeaderNode.ROOT + "/" + FAILOVER;

    static final String ITEMS_ROOT = LEADER_ROOT + "/items";

    static final String ITEMS = ITEMS_ROOT + "/%s";

    static final String LATCH = LEADER_ROOT + "/latch";

    private static final String EXECUTION_FAILOVER = ShardingNode.ROOT + "/%s/" + FAILOVER;

    static String getItemsNode(final int item) {
        return String.format(ITEMS, item);
    }

    static String getExecutionFailoverNode(final int item) {
        return String.format(EXECUTION_FAILOVER, item);
    }
}

10. GuaranteeNode

GuaranteeNode,保证分布式任务全部开始和结束状态节点路径。在《Elastic-Job-Lite 源码分析 —— 作业监听器》详细解析。

666. 彩蛋

旁白君:芋道君,你又水更了!  
芋道君:屁屁屁,劳资怼死你!如下是作业数据存储整理,哼哼哈兮!

道友,赶紧上车,分享一波朋友圈!



如果你对 Dubbo / Netty 等等源码与原理感兴趣,欢迎加入我的知识星球一起交流。长按下方二维码噢:


目前在知识星球更新了《Dubbo 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下:

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下:

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

get_ccopt系列命令介绍 get_ccopt_property:用来获取cts阶段,clock tree上所有的参数信息,可以通过get_ccopt_property –help *获取所有参数。get_ccopt_skew_group_delay:用来获取skew group的相关信息,可以通过筛选出特定条件下skew_group的参数,如skew_group下latency最长是多少;get_ccopt_clock_tree_source_groups:获取clock tree的source group名字; 阅读详情

相关推荐

别再死记硬背了!用TwinCAT 3手把手教你配置EtherCAT伺服驱动的PDO映射(DS402协议)

本文详细介绍了如何使用TwinCAT 3配置EtherCAT伺服驱动的PDO映射(DS402协议),涵盖环境准备、设备扫描、PDO映射实战及高级技巧。通过具体操作步骤和常见问题排查,帮助工程师快速掌握EtherCAT通信配置,提升运动控制系统的效率和稳定性。

weixin_29185493的博客 324

分布式作业 Elastic-Job-Lite 源码分析 —— 作业数据存储

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 504

LVGL在STM32H743IIT6上的性能优化技巧:如何提升图形界面刷新速度

本文详细介绍了在STM32H743IIT6高性能MCU上优化LVGL图形界面刷新速度的实战技巧。通过利用芯片的DMA2D硬件加速模块替代低效的软件画点,将绘制缓冲区放入SDRAM并启用双缓冲机制,以及合理配置CPU缓存与MPU,有效解决了界面卡顿问题。文章还涵盖了LVGL引擎调优、内存架构优化等关键步骤,帮助开发者充分发挥STM32H743的硬件潜力,实现流畅的图形界面体验。

vscode6remote的博客 310

Java定时任务框架:Elastic-job、Quartz、XXL-JOB 学习

Java定时任务:Elastic-job、Quartz 、XXL-JOB 学习 一、Elastic-job分布式定时任务框架学习 一、Simple类型的任务 快速开启一个simple任务的步骤 1.创建一个maven工程 2.导入elastic-job的依赖,使用的是最新版本2.1.5 <dependency> <groupId>com.dangdang</groupId> <artifactId>elastic-job-lit

lyq1525761478的博客 1987

国内网络环境下Leaflet加载OpenStreetMap地图的5种替代方案(附可用瓦片地址)

本文针对国内网络环境下Leaflet加载OpenStreetMap地图的常见问题,提供了5种可用的瓦片替代方案,包括OpenStreetMap.fr HOT、OpenStreetMap.de、CartoDB、Stamen和Thunderforest,并附上详细的代码示例和选择建议,帮助开发者解决地图加载问题。

qsc901234的博客 1713

UE4初学笔记_02_编辑器界面

不同版本可能不一样,这里是4.25 UE4编辑器主界面(也称为关卡编辑器)主要用于构建世界场景和关卡以及放置资源。 1.菜单栏 2.关卡编辑器(Level Editor)工具栏 3.“模式”(Modes)面板 4.“内容浏览器”(Content Browser)面板 5.“视口”(Viewport)面板 6.“世界大纲视图”(World Outliner)面板 7.“细节”(Details)面板 1.菜单栏 菜单栏包含“文件”(File) 、“编辑”(Edit) 、“窗口”(Win.

来自火星的猫 3094

SimpleJob的使用实例

quartz使用的是1.8.6版本[code="java"]import java.util.Date; import org.quartz.Job; import org.quartz.JobExecutionContext; import org.quartz.JobExecutionException; public class SimpleJob implements Jo...

iteye_2216的博客 2213

NVIDIA NCCL 安装和测试实战教程

ibrary)是用于深度学习应用的高性能通信库,可加速多GPU通信和同步。它能够在多个GPU之间进行高效的数据传输和集体操作,显著提高了分布式GPU系统上深度学习训练和推理的性能。NVIDIA NCCL是加速多GPU系统上深度学习应用的必不可少的工具。其高效的通信原语和集体操作显著提高了分布式训练和推理的性能,使其成为现代深度学习基础架构的关键组成部分。

weixin_39818775的博客 4432

dangdang.ddframe.job中页面修改表达式后进行检查

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33854644的博客 698

OpenClaw Skill 开发全攻略|2026 最新机制 + 文件处理实操,看完直接落地开发

很多新手刚接触时,会把 Skill 想得很复杂,其实大可不必。OpenClaw 中的每个 Skill,本质就是一套“能力描述 + 执行逻辑”的组合包,简单说就是“告诉 AI 你能做什么、怎么做,它就会调用你”,核心特征可以总结为这几点,好记又实用:核心载体:以文件夹为单位,不管多简单的 Skill,文件夹里都必须有 SKILL.md 文件——这是 AI 识别技能的唯一依据,少了它,再完善的代码也没用;

haolove527的专栏 7032

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图、天地图)

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图)

1万+

第一章 - 分布式定时任务框架ElasticJob之JavaApi整合Simple作业

分布式定时任务框架ElasticJob之JavaApi整合Simple作业前言一、 开发环境准备二、使用步骤1.安装zookeeper2.创建maven工程,引入ElasticJob依赖3.编写代码总结 前言 分布式定时任务框架ElasticJob是当当网已经开源的框架,已经用于很多中大型企业用于分布式定时任务的场景开发之中,ElasticJob具有支持分布式、集群、弹性扩容等优点,它具有的这些特点在于它具有分片的功能,目前仅支持zookeeper注册中心。本章节介绍ElasticJob框架中最基本也

qq_40187702的博客 847

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业失效转移

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 590

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业分片

摘要: 原创出处 http://www.iocoder.cn/Elastic-Job/job-sharding/ 「芋道源码」欢迎转载,保留摘要,谢谢! 本文基于 Elastic-Job V2.1.5 版本分享 1. 概述 2. 作业分片条件 3. 分配作业分片项 4. 获取作业分片上下文集合 666. 彩蛋 ������关注微信公众号:【芋道源码】有福利: 1. R...

芋艿V 1273

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业执行

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码专栏( 已经完成 69+ 篇,预计总共 75+ 篇 )中文详细注释...

芋道源码 430

Elastic-Job-Lite 源码分析 —— 作业执行

1. 概述 本文主要分享Elastic-Job-Lite 作业执行。 涉及到主要类的类图如下(打开大图): 黄色的类在elastic-job-common-core项目里,为 Elastic-Job-Lite、Elastic-Job-Cloud公用作业执行类。 2. Lite调度作业 Lite调度作业( LiteJob ),作业被调度后,调用#execute()执行作业。 为什么是 LiteJob 作为入口呢? 在《Elastic-Job-Lite 源码分析 —— 作业初始化...

weixin_42073629的博客 562

Java使用elasticjob实现定时任务(v2.1.5)

java使用elasticjob实现定时任务(2.1.5)

m0_60707623的博客 1131

Elastic-Job原理--服务器初始化、节点选举与通知(二)

       在上一篇博客Elastic-Job原理--简介与示例(一)中我们简单的介绍了一下Elastic-Job提供的功能,这篇博客我们通过分析Elastic-Job的源码,了解学习一下Elastic-Job的初始化、节点选举、配置变更通知等相关的流程。      Elastic-Job依赖Zookeeper作为注册中心,利用zk的功能完成节点选举、分片和配置变更等相关的功能,接下来我们通过...

井底之蛙 4894

踩坑记录---线程池拒绝策略引起的一系列巧合

一、业务场景 1、定时任务从数据库搜索一批需要处理的数据,大概在140w左右 2、140w数据使用循环处理 3、循环中,将数据处理任务提交到线程池(坑一),并在任务中,把处理结果推送到mq 4、定时任务结束 二、异常现象 在执行循环到过程中,突然循环中断,任务处理失败,循环提前结束 三、代码贴图 主线程简化版代码如下 // 获取全部需要处理的任务数据 List<T> needHandlerList = getNeedHandlerList(shardingContext);

编码爱好者 872

elastic-job之Simple类型作业实现

1.什么是Simple类型作业?Simple类型作业意为简单实现,未经任何封装的类型。需实现SimpleJob接口。该接口仅提供单一方法用于覆盖,此方法将定时执行。与Quartz原生接口相似,但提供了弹性扩缩容和分片等功能。2. 创建Simple类型项目,通过API启动方式调用2.1 首先我们maven创建一个普通的java项目,然后在pom文件中加入下面这行引入&lt;dependency&gt...

一不小心的程序员 1万+

Java工具:定时器工具入门理解

问题:定时器的应用场景有哪些? 定时进行数据备份 对系统应用进行心跳监控 定时同步信息到持久化数据库 定时检测订单的支付状态 问题:定时器开发工具有哪些? Elastic-job:分布式定时任务 不支持动态添加任务 分布式 支持集群 Quartz:企业级定时任务 支持动态添加任务 伪分布式 支持集群 问题:如何简单理解Elastic-job? 最大特点-分布式定时任务: 概念:将一个任务拆分成多个独立的任务项,由分布式的服务器分别执行某一个或几个分片项。 例子:统计100个数值,两台服

萌白在努力的博客 352

分布式调度框架elasticJob对Curator的使用解析

前言: 由于公司使用到elasticJob作为分布式调度框架的基础,所以也多多少少研究了一下这个框架。 任务调度的框架有很多,单机情况下我们可以用Quartz,但是分布式调度的情况下,Quartz就无能为力了,这个时候分布式调度就上线了。 当然这篇博客不是用来介绍elasticjob的使用,而是介绍elasticjob对zookeeper的使用。 正好也与上...

恐龙弟旺仔的博客 1079

elastic-job

elastic-jib

weixin_52130455的博客 2503
上一篇: 分布式中几种服务注册与发现组件的原理与比较
下一篇: MyBastis 三种批量插入方式的性能比较
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值