任务调度系统就该这么设计(万能通用),稳的一批!

游戏服务端设计:任务系统 我所遇到过的几种游戏服务端:任务系统的设计思路。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:勇哥java实战分享

010974d58eb40f97046328b6aaddf0c8.jpeg


阅读一篇「定时任务框架选型」的文章时,一位网友的留言电 到了我:

我看过那么多所谓的教程,大部分都是教“如何使用工具”的,没有多少是教“如何制作工具”的,能教“如何仿制工具”的都已经是凤毛麟角,中国 软件行业,缺的是真正可以“制作工具”的程序员,而绝对不缺那些“使用工具”的程序员!......  ”这个业界最不需要的就是“会使用XX工具的工程师”,而是“有创造力的软件工程师”!业界所有的饭碗,本质就是“有创造力的软件工程师”提供出来的啊!

写这篇文章,想和大家从头到脚说说任务调度,希望大家读完之后,能够理解实现一个任务调度系统的核心逻辑。

e7ed0e3015f45f4f9064c31a44635268.png

1 Quartz

Quartz是一款Java开源任务调度框架,也是很多Java工程师接触任务调度的起点。

下图显示了任务调度的整体流程:

053cc201ed666ede82c621e09c46dfbc.png

Quartz的核心是三个组件。

  • 任务:Job 用于表示被调度的任务;

  • 触发器:Trigger 定义调度时间的元素,即按照什么时间规则去执行任务。一个Job可以被多个Trigger关联,但是一个Trigger 只能关联一个Job;

  • 调度器 :工厂类创建Scheduler,根据触发器定义的时间规则调度任务。

ff7d4a20f676e6dca28c1f68dc32d94d.png

上图代码中Quartz 的JobStore是 RAMJobStore ,Trigger 和 Job 存储在内存中。

执行任务调度的核心类是 QuartzSchedulerThread 。

465c067d9b01a58f611d9f0a020d4527.png
  1. 调度线程从JobStore中获取需要执行的的触发器列表,并修改触发器的状态;

  2. Fire 触发器,修改触发器信息(下次执行触发器的时间,以及触发器状态),并存储起来。

  3. 最后创建具体的执行任务对象,通过worker线程池执行任务。

接下来再聊聊 Quartz 的集群部署方案。

Quartz的集群部署方案,需要针对不同的数据库类型(MySQL ,  ORACLE) 在数据库实例上创建Quartz表,JobStore是:  JobStoreSupport 。

这种方案是分布式的,没有负责集中管理的节点,而是利用数据库行级锁的方式来实现集群环境下的并发控制。

scheduler实例在集群模式下首先获取{0}LOCKS表中的行锁,Mysql 获取行锁的语句:

3724617e055f01c26282f3bcc6eba27d.png

{0}会替换为配置文件默认配置的QRTZ_。sched_name为应用集群的实例名,lock_name就是行级锁名。Quartz主要有两个行级锁触发器访问锁 (TRIGGER_ACCESS ) 和 状态访问锁(STATE_ACCESS )。

8e51ddcf06aa97e6a2deb1e236cd090e.png

这个架构解决了任务的分布式调度问题,同一个任务只能有一个节点运行,其他节点将不执行任务,当碰到大量短任务时,各个节点频繁的竞争数据库锁,节点越多性能就会越差。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

2 分布式锁模式

Quartz的集群模式可以水平扩展,也可以分布式调度,但需要业务方在数据库中添加对应的表,有一定的强侵入性。

有不少研发同学为了避免这种侵入性,也探索出分布式锁模式 。

业务场景:电商项目,用户下单后一段时间没有付款,系统就会在超时后关闭该订单。

通常我们会做一个定时任务每两分钟来检查前半小时的订单,将没有付款的订单列表查询出来,然后对订单中的商品进行库存的恢复,然后将该订单设置为无效。

我们使用Spring Schedule的方式做一个定时任务。

@Scheduled(cron = "0 */2 * * * ? ")
public void doTask() {
   log.info("定时任务启动");
   //执行关闭订单的操作
   orderService.closeExpireUnpayOrders();
   log.info("定时任务结束");
 }

在单服务器运行正常,考虑到高可用,业务量激增,架构会演进成集群模式,在同一时刻 有多个服务执行一个定时任务,有可能会导致业务紊乱。

解决方案是在任务执行的时候,使用Redis 分布式锁来解决这类问题。

@Scheduled(cron = "0 */2 * * * ? ")
public void doTask() {
    log.info("定时任务启动");
    String lockName = "closeExpireUnpayOrdersLock";
    RedisLock redisLock = redisClient.getLock(lockName);
    //尝试加锁,最多等待3秒,上锁以后5分钟自动解锁
    boolean locked = redisLock.tryLock(3, 300, TimeUnit.SECONDS);
    if(!locked){
        log.info("没有获得分布式锁:{}" , lockName);
        return;
    }
    try{
       //执行关闭订单的操作
       orderService.closeExpireUnpayOrders();
    } finally {
       redisLock.unlock();
    }
    log.info("定时任务结束");
}
9a7d3ec7335ff9c9fb36a9d9ceef462e.png

Redis的读写性能极好,分布式锁也比Quartz数据库行级锁更轻量级。当然Redis锁也可以替换成Zookeeper锁,也是同样的机制。

在小型项目中,使用:定时任务框架(Quartz/Spring Schedule)和 分布式锁(redis/zookeeper)有不错的效果。

但是呢?我们可以发现这种组合有两个问题:

  1. 定时任务在分布式场景下有空跑的情况,而且任务也无法做到分片;

  2. 要想手工触发任务,必须添加额外的代码才能完成。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

3 ElasticJob-Lite 框架

ElasticJob-Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务。

a5f634f6818c2a96c3ed2bd0fbb616f4.png

应用内部定义任务类,实现SimpleJob接口,编写自己任务的实际业务流程即可。

public class MyElasticJob implements SimpleJob {
    @Override
    public void execute(ShardingContext context) {
        switch (context.getShardingItem()) {
            case 0:
                // do something by sharding item 0
                break;
            case 1:
                // do something by sharding item 1
                break;
            case 2:
                // do something by sharding item 2
                break;
            // case n: ...
        }
    }
}

举例:应用A有五个任务需要执行,分别是A,B,C,D,E。任务E需要分成四个子任务,应用部署在两台机器上。

0ce6a6381414e93851992753a695d47e.png

应用A在启动后, 5个任务通过 Zookeeper 协调后被分配到两台机器上,通过Quartz Scheduler 分开执行不同的任务。

ElasticJob 从本质上来讲 ,底层任务调度还是通过 Quartz ,相比Redis分布式锁 或者 Quartz 分布式部署 ,它的优势在于可以依赖 Zookeeper 这个大杀器 ,将任务通过负载均衡算法分配给应用内的 Quartz Scheduler容器。

从使用者的角度来讲,是非常简单易用的。但从架构来看,调度器和执行器依然在同一个应用方JVM内,而且容器在启动后,依然需要做负载均衡。应用假如频繁的重启,不断的去选主,对分片做负载均衡,这些都是相对比较重 的操作。

ElasticJob 的控制台通过读取注册中心数据展现作业状态,更新注册中心数据修改全局任务配置。从一个任务调度平台的角度来看,控制台功能还是偏孱弱的。

4 中心化流派

中心化的原理是:把调度和任务执行,隔离成两个部分:调度中心和执行器。调度中心模块只需要负责任务调度属性,触发调度命令。执行器接收调度命令,去执行具体的业务逻辑,而且两者都可以进行分布式扩容。

4.1 MQ模式

先谈谈我在艺龙促销团队接触的第一种中心化架构。

8c2c4e6147c781f6aaf59f36da8f13d5.png

调度中心依赖Quartz集群模式,当任务调度时候,发送消息到RabbitMQ 。业务应用收到任务消息后,消费任务信息。

这种模型充分利用了MQ解耦的特性,调度中心发送任务,应用方作为执行器的角色,接收任务并执行。

但这种设计强依赖消息队列,可扩展性和功能,系统负载都和消息队列有极大的关联。这种架构设计需要架构师对消息队列非常熟悉。

4.2 XXL-JOB

XXL-JOB 是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

eaf0597ca7ee18e1e43e36fed199ff66.png
xxl-job 2.3.0架构图

我们重点剖析下架构图 :

▍ 网络通讯 server-worker 模型

4d835bb0eebb461514cd8da07e1c7e33.png

调度中心和执行器 两个模块之间通讯是 server-worker 模式。调度中心本身就是一个SpringBoot 工程,启动会监听8080端口。

执行器启动后,会启动内置服务( EmbedServer )监听9994端口。这样双方都可以给对方发送命令。

那调度中心如何知道执行器的地址信息呢 ?上图中,执行器会定时发送注册命令 ,这样调度中心就可以获取在线的执行器列表。

通过执行器列表,就可以根据任务配置的路由策略选择节点执行任务。常见的路由策略有如下三种:

  • 随机节点执行:选择集群中一个可用的执行节点执行调度任务。适用场景:离线订单结算。

38ed9567dbbd22dd08de94c99d61c5ad.png
  • 广播执行:在集群中所有的执行节点分发调度任务并执行。适用场景:批量更新应用本地缓存。

    adac54541881aaf685ced52390a38067.png
  • 分片执行:按照用户自定义分片逻辑进行拆分,分发到集群中不同节点并行执行,提升资源利用效率。适用场景:海量日志统计。

8b1a910c3bc328a382b1ad783b23b91c.png

▍ 调度器

调度器是任务调度系统里面非常核心的组件。XXL-JOB 的早期版本是依赖Quartz。

但在v2.1.0版本中完全去掉了Quartz的依赖,原来需要创建的 Quartz表也替换成了自研的表。

核心的调度类是:JobTriggerPoolHelper 。调用start方法后,会启动两个线程:scheduleThread 和 ringThread 。

首先 scheduleThread 会定时从数据库加载需要调度的任务,这里从本质上还是基于数据库行锁保证同时只有一个调度中心节点触发任务调度。

Connection conn = XxlJobAdminConfig.getAdminConfig()
                  .getDataSource().getConnection();
connAutoCommit = conn.getAutoCommit();
conn.setAutoCommit(false);
preparedStatement = conn.prepareStatement(
"select * from xxl_job_lock where lock_name = 'schedule_lock' for update");
preparedStatement.execute();
# 触发任务调度 (伪代码)
for (XxlJobInfo jobInfo: scheduleList) {
  // 省略代码
}
# 事务提交
conn.commit();

调度线程会根据任务的「下次触发时间」,采取不同的动作:

2258f2feef9cffe28f03d005975c8d02.png

已过期的任务需要立刻执行的,直接放入线程池中触发执行 ,五秒内需要执行的任务放到 ringData 对象里。

ringThread 启动后,定时从 ringData 对象里获取需要执行的任务列表 ,放入到线程池中触发执行。

7a14476a74b16637506fd86d0b970074.png 9a5ed891b3161c2c92492ec3b7dac10e.png

5 自研在巨人的肩膀上

2018年,我有一段自研任务调度系统的经历。

背景是:兼容技术团队自研的RPC框架,技术团队不需要修改代码,RPC注解方法可以托管在任务调度系统中,直接当做一个任务来执行。

自研过程中,研读了XXL-JOB 源码,同时从阿里云分布式任务调度 SchedulerX 吸取了很多营养。

e086081aa81a7b090dfa8bc94278c557.png
SchedulerX 1.0 架构图
  • Schedulerx-console 是任务调度的控制台,用于创建、管理定时任务。负责数据的创建、修改和查询。在产品内部与 schedulerx server 交互。

  • Schedulerx-server 是任务调度的服务端,是 Scheduler的核心组件。负责客户端任务的调度触发以及任务执行状态的监测。

  • Schedulerx-client 是任务调度的客户端。每个接入客户端的应用进程就是一个的 Worker。Worker 负责与 Schedulerx-server 建立通信,让 schedulerx-server发现客户端的机器。并向schedulerx-server注册当前应用所在的分组,这样 schedulerx-server才能向客户端定时触发任务。

我们模仿了SchedulerX的模块,架构设计如下图:

c45075923b66383a327170f42720e704.png

我选择了 RocketMQ 源码的通讯模块 remoting 作为自研调度系统的通讯框架。基于如下两点:

  1. 我对业界大名鼎鼎的 Dubbo不熟悉,而remoting我已经做了多个轮子,我相信自己可以搞定;

  2. 在阅读 SchedulerX 1.0 client 源码中,发现 SchedulerX 的通讯框架和RocketMQ Remoting很多地方都很类似。它的源码里有现成的工程实现,完全就是一个宝藏。

我将 RocketMQ remoting 模块去掉名字服务代码,做了一定程度的定制。

在RocketMQ的remoting里,服务端采用 Processor 模式。

8312085f5ee6b8f2dde690d69470b59b.png

调度中心需要注册两个处理器:回调结果处理器CallBackProcessor和心跳处理器HeartBeatProcessor 。执行器需要注册触发任务处理器TriggerTaskProcessor 。

public void registerProcessor(
             int requestCode,
             NettyRequestProcessor processor,
             ExecutorService executor);

处理器的接口:

public interface NettyRequestProcessor {
 RemotingCommand processRequest(
                 ChannelHandlerContext ctx,
                 RemotingCommand request) throws Exception;
 boolean rejectRequest();
}

对于通讯框架来讲,我并不需要关注通讯细节,只需要实现处理器接口即可。

以触发任务处理器TriggerTaskProcessor举例:

b6e8749ff81a77fbd69272a83009a204.png

搞定网络通讯后,调度器如何设计 ?最终我还是选择了Quartz 集群模式。主要是基于以下几点原因:

  1. 调度量不大的情况下 ,Quartz 集群模式足够稳定,而且可以兼容原来的XXL-JOB任务;

  2. 使用时间轮的话,本身没有足够的实践经验,担心出问题。另外,如何让任务通过不同的调度服务(schedule-server)触发, 需要有一个协调器。于是想到Zookeeper。但这样的话,又引入了新的组件。

  3. 研发周期不能太长,想快点出成果。

自研版的调度服务花费一个半月上线了。系统运行非常稳定,研发团队接入也很顺畅。调度量也不大 ,四个月总共接近4000万到5000万之间的调度量。

坦率的讲,自研版的瓶颈,我的脑海里经常能看到。数据量大,我可以搞定分库分表,但 Quartz 集群基于行级锁的模式 ,注定上限不会太高。

为了解除心中的困惑,我写一个轮子DEMO看看可否work:

  1. 去掉外置的注册中心,调度服务(schedule-server)管理会话;

  2. 引入zookeeper,通过zk协调调度服务。但是HA机制很粗糙,相当于一个任务调度服务运行,另一个服务standby;

  3. Quartz 替换成时间轮 (参考Dubbo里的时间轮源码)。

7284fcd4942fdfe933a846ad6d62ff63.png

这个Demo版本在开发环境可以运行,但有很多细节需要优化,仅仅是个玩具,并没有机会运行到生产环境。

最近读阿里云的一篇文章《如何通过任务调度实现百万规则报警》,SchedulerX2.0 高可用架构见下图:

4ac8c6304188d027925ab186c1a55fe0.jpeg

文章提到:

每个应用都会做三备份,通过 zk 抢锁,一主两备,如果某台 Server 挂了,会进行 failover,由其他 Server 接管调度任务。

这次自研任务调度系统从架构来讲,并不复杂,实现了XXL-JOB的核心功能,也兼容了技术团队的RPC框架,但并没有实现工作流以及mapreduce分片。

SchedulerX 在升级到2.0之后基于全新的Akka 架构,这种架构号称 实现高性能工作流引擎,实现进程间通信,减少网络通讯代码。

在我调研的开源任务调度系统中,PowerJob 也是基于Akka 架构,同时也实现了工作流和MapReduce执行模式。

我对PowerJob 非常感兴趣,也会在学习实践后输出相关文章,敬请期待。

6 技术选型

首先我们将任务调度开源产品和商业产品 SchedulerX 放在一起,生成一张对照表:

3966d5f3c8a44e9d887d8bf66d8df553.png

Quartz 和 ElasticJob从本质上还是属于框架的层面。

中心化产品从架构上来讲更加清晰,调度层面更灵活,可以支持更复杂的调度(mapreduce动态分片,工作流)。

XXL-JOB 从产品层面已经做到极简,开箱即用,调度模式可以满足大部分研发团队的需求。简单易用 + 能打,所以非常受大家欢迎。

其实每个技术团队的技术储备不尽相同,面对的场景也不一样,所以技术选型并不能一概而论。

不管是使用哪种技术,在编写任务业务代码时,还是需要注意两点:

  • 幂等。当任务被重复执行的时候,或者分布式锁失效的时候,程序依然可以输出正确的结果;

  • 任务不跑了,千万别惊慌。查看调度日志,JVM层面使用Jstack命令查看堆栈,网络通讯要添加超时时间 ,一般能解决大部分问题。

7 写到最后

2015年其实是非常有趣的一年。ElasticJob 和 XXL-JOB 这两种不同流派的任务调度项目都开源了。

在 XXL-JOB 源码里,至今还保留着许雪里老师在开源中国的一条动态截图:

刚写的任务调度框架 ,Web动态管理任务,实时生效,热乎的。没有意外的话,明天中午推送到git.osc上去。哈哈,下楼炒个面加个荷包蛋庆祝下。

看到这个截图,内心深处竟然会有一种共情,嘴角不自禁的上扬。

我又想起:2016年,ElasticJob的作者张亮老师开源了sharding-jdbc 。我在github上创建了一个私有项目,参考sharding-jdbc的源码,自己实现分库分表的功能。第一个类名叫:ShardingDataSource,时间定格在 2016/3/29。

我不知道如何定义“有创造力的软件工程师”,但我相信:一个有好奇心,努力学习,乐于分享,愿意去帮助别人的工程师,运气肯定不会太差。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

d4a5eded78a19b2d1acbaccde1e7dba2.png

已在知识星球更新源码解析如下:

009a696686ed873d57b8ae6b6675ccf2.jpeg

800316d541def08c9ca0751f1664e498.jpeg

87ad3a848ed9c41b6871a14575b80dbf.jpeg

fc11fe087f92864f879dcfc058e0cd00.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
软件设计师(计算机系统):从系统思维到架构落地的核心能力与实战 软件设计是构建复杂数字系统的基石,其核心在于将业务需求转化为可执行、可维护的技术蓝图。从原理层面看,这要求深入理解计算机系统知识,包括操作系统原理、网络协议、数据库事务与并发控制等底层机制。这些原理共同支撑了系统的非功能性需求,如高性能、高可用与可扩展性。在技术价值上,良好的软件设计能显著提升系统的稳定性、降低长期维护成本,并支撑业务的快速迭代。其应用场景广泛,从高并发电商交易系统、分布式数据处理平台到实时通信服务,都依赖于精心的架构设计。本文聚焦于计算机系统软件设计师这一角色,深入剖析其所需的系统思维、抽 阅读详情

相关推荐

基于STM32的多功能测量仪设计:从原理到实现的软硬件全解析

在嵌入式系统与电子测量领域,微控制器(MCU)作为核心处理单元,通过模数转换器(ADC)和外围电路实现对各类物理信号的采集与处理。其工作原理是将模拟世界的连续信号转换为数字信号,再通过算法进行滤波、计算与补偿,从而获得精确的测量结果。这项技术的核心价值在于以低成本、便携化的方案,实现传统台式仪器的部分关键功能,极大地便利了电子开发、电路调试与教学实验。其典型应用场景包括电子爱好者DIY、创客项目原型验证、嵌入式系统调试以及硬件教学实践。本文聚焦于一个集成了电压、电流、电阻、电容、电感、频率、温度等十种测量功

weixin_29195217的博客 271

分布式任务调度系统分析

分布式任务调度设计实践: 分析了一个定时任务调度最简单的架构,开源系统XXX-Job 代码

CoLiuRs 1838

C++面试官连环问:线程池为什么需要任务队列?这 5 层设计必答!

用大白话说:线程池就像一个工厂的工人团队,不是每来一个订单就临时招一个工人,而是预先准备好一群工人,有订单就分配给空闲的工人去做。这样避免了频繁招聘(创建线程)和解雇(销毁线程)的开销。核心设计原理:为什么需要线程池?用大白话说:任务队列就像餐厅的点菜单,顾客(生产者)不断点菜把订单放到队列里,厨师(消费者)从队列里取订单做菜。队列起到了缓冲和解耦的作用。thrdpool_task结构设计要点:调度策略类型:用大白话说:就像餐厅根据客流量动态调整厨师数量一样,线程池也要根据任务负载动态增减线程数量。忙的时候

weixin_45715405的博客 264

任务调度系统设计

字段字段类型说明idbigint作业 IDname作业名称作业描述job_typetinyint作业类型inputstext作业输入定义(json 格式)outputstext作业输出定义(json 格式)作业重试机制text作业成功条件contenttext作业执行内容id: Long1 -- Shell 脚本 2 -- Python 脚本 3 -- Http 请求 4 -- Sql 命令 5 -- Linux 命令。

u013803613的博客 2462

AI算力网络与异构计算:未来通信架构设计指南

AI算力网络:连接分布式计算资源,实现AI任务高效协同处理的专用网络异构计算:利用不同类型处理器的特性优势,协同完成计算任务的计算模式算力密度:单位体积或面积所能提供的计算能力通信延迟:数据从一个节点传输到另一个节点所需的时间任务卸载:将计算任务从本地设备转移到边缘节点或云端的过程算力网络是AI规模化发展的必然要求:随着AI模型规模和应用范围的扩大,单一计算节点无法满足需求,分布式算力网络成为必然趋势。异构计算是释放AI潜能的关键。

AI天才研究院 1247

大数据任务调度系统设计:从Airflow到Kwaiflow的高可用与性能优化实践

任务调度是数据平台的底座,直接决定数据产出的及时性与稳定性。理解资源调度与任务调度的本质区别,是架构选型的第一步。在大数据场景下,DAG与Task的双层实体模型能更好地支撑十万级任务和复杂依赖关系。随着集群规模增长,基于Actor模型的事件驱动架构取代传统轮询扫描,成为将调度延迟从分钟级压至秒级的关键。同时,高可用设计需覆盖状态机、Ack确认、主备切换与分级调度,才能保障关键链路在大促期间稳定运行。本文以快手从Airflow到Kwaiflow 3.0的重构之路为例,系统梳理任务调度系统的核心模块、性能优化手

weixin_34319111的博客 354

白话设计模式之(44):命令模式——编程世界的“万能扳手”

大家好!在软件开发的学习旅程中,我们都在不断探索如何让代码更加高效、灵活且易于维护。设计模式作为编程领域的瑰宝,为我们提供了许多解决复杂问题的有效方法。今天,咱们继续深入探讨命令模式,它就像编程世界里的一把“万能扳手”,看似简单却能在各种场景下发挥强大的作用,从基础的操作封装到复杂的系统功能实现,都能轻松应对。希望通过这篇博客,能和大家一起更全面地理解命令模式,在实际编程中灵活运用,提升代码的质量和开发效率。

wj_rdk的博客 1130

任务系统设计思路

网络游戏任务系统设计思路 网络游戏任务系统设计思路 网络游戏任务系统设计思路

任务调度系统架构演进:从单体调度到分层编排的TaskOS实践

分布式系统中,任务调度是保障高并发场景下任务可靠执行的核心基础设施。与消息队列只保证投递不同,任务调度系统需要管理任务从创建、分配到执行、重试的完整生命周期,其关键在于状态机设计、幂等机制与租约机制,确保任务不丢不重。随着业务规模增长,单体调度器面临锁竞争、负载不均等瓶颈,微服务化与事件驱动架构成为主流演进路径。在游戏化运营、共享产能调度等场景中,日均百万级任务与瞬时峰值流量对调度系统的隔离性、优先级调度和可观测性提出更高要求。本文从架构演进与功能边界视角,梳理TaskOS从单体调度到分层任务编排的实战经验

weixin_29574585的博客 120

AI 辅助代码审查:开启代码质量管控的智能时代

AI辅助代码审查正在改变传统的代码质量管控方式。通过自动化分析、智能反馈和上下文感知,AI不仅提高了代码审查的效率,还提升了代码质量的一致性和可维护性。随着机器学习和深度学习技术的不断发展,未来AI将成为开发者日常工作中强大的助手,进一步推动软件开发向智能化、自动化方向发展。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 3229

智能垃圾桶改造指南:树莓派+垃圾分类模型部署全记录(含数据集获取)

本文提供了一份详尽的智能垃圾桶DIY改造指南,核心是利用树莓派部署轻量化的YOLOv8垃圾分类模型。内容涵盖从数据集获取、模型训练与OpenVINO量化优化,到硬件组装、电路连接及软件集成的全流程,旨在帮助创客和爱好者以低成本实现一个能自动识别垃圾并分类的AIoT原型系统。

k6l7m8n9的博客 509

分布式任务调度系统架构设计与实践

分布式任务调度是现代分布式系统的核心技术之一,其核心原理是通过协调多个计算节点来执行定时或触发式任务。在技术实现上,通常采用领导者选举、时间轮算法和分布式锁等机制来保证可靠性。对于需要处理高并发、跨时区任务的场景,分层调度架构和状态缓存层能显著提升系统性能。以某跨国企业系统为例,通过Go语言实现的混合调度算法(时间轮+最小堆)可稳定处理200万级任务量,结合Redis集群和Raft协议,实现了99.99%的任务可靠性。这类技术在金融交易、物流追踪等对时效性要求严格的领域具有重要应用价值。

weixin_31102231的博客 204

别再手动拆解字节了!用博图这个功能指令,5分钟搞定ARRAY转BOOL数组

本文详细介绍了西门子博图中`ARRAY_TO_BOOL`功能指令的高效应用,帮助工程师快速实现ARRAY到BOOL数组的转换。通过实战案例和参数配置指南,展示了如何5分钟内完成传统方法需半小时的任务,大幅提升PLC编程效率,特别适用于通信报文解析和设备状态监控。

weixin_42653691的博客 266

基于ax调度思想,设计异步任务调度系统的核心原理与落地实践

在复杂的业务系统中,异步任务调度是保障接口响应与系统稳定性的关键基础设施。通过统一管理任务状态与生命周期,结合数据库可靠存储与Redis延迟队列的高效触发,调度系统能够解决任务丢失、重复执行、定时任务堆叠等常见问题。其核心价值在于状态机流转、CAS去重、幂等保护与超时回收机制,适用于订单超时关单、消息推送、数据清理等场景。ax调度作为一套混合模型的落地形态,提供了从任务建模到监控告警的完整工程实践方案。

weixin_33491377的博客 223

Vienna整流器双PI闭环仿真:从SVPWM调制到中点电位平衡的实践解析

本文深入解析Vienna整流器双PI闭环仿真技术,涵盖SVPWM调制和中点电位平衡的实践细节。通过详细的MATLAB/Simulink仿真搭建流程和常见问题排查方法,帮助工程师掌握高效整流器控制策略,提升系统稳定性和动态响应性能。

weixin_29168153的博客 329

ADB 安装教程:如何在 Windows、 Linux 上安装 Android Debug Bridge

本文介绍了在Windows和Linux系统上安装ADB(Android调试桥)的方法。对于Windows系统:1)从官网下载ADB工具并解压;2)通过命令提示符验证安装;3)配置环境变量以实现全局使用;4)再次验证全局ADB功能。Linux系统可通过包管理器直接安装(如Ubuntu使用apt,Fedora使用dnf),安装后同样需验证版本信息确认成功。两种系统安装完成后,都能通过"adb version"命令检查安装状态。

qq_53545309的博客 447

系统设计面试指南:面试官让你“设计一个系统“,该怎么答?

系统设计题是很多同学面试时最怕的环节。不像八股文可以背,系统设计没有标准答案,更考验你的工程思维和架构能力。但实际上,系统设计面试是有套路的。面试官看的不是你能不能设计出一个完美系统,而是你的思考过程、权衡取舍、技术深度。这篇文章教你一套万能的回答框架,不管面试官出什么系统设计题,你都能有条理地回答。展示你的工程思维。你会分析问题(需求→约束→设计)你知道有哪些技术选型你理解每个选择的trade-off你能在有限时间内做出合理的决策。

weixin_51864284的博客 220

机器人中的数值优化(十二)——带约束优化问题简介、LP线性规划

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考,主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等,本系列文章篇数较多,不定期更新,上半部分介绍无约束优化,下半部分介绍带约束的优化,中间会穿插一些路径规划方面的应用实例

慕羽★的博客 3853

AI万能分类器团队协作:多人共享GPU方案

资源利用率提升:一块GPU同时服务多个成员,告别闲置等待开发效率飞跃:统一环境避免"在我机器能跑"的问题成本显著降低:共享高端显卡比每人配备更经济实惠扩展性强:方案支持从小团队到大规模部署的平滑升级根据模型规模选择合适的GPU配置部署预置镜像并搭建API服务配置多用户访问和任务队列实施监控和优化策略设置权限管理和安全防护现在你的团队已经准备好告别低效的单人单卡模式,拥抱协同AI开发的新时代了!💡获取更多AI镜像想探索更多AI镜像和应用场景?访问优快云星图镜像广场。

SilverMoon18的博客 827

从重复劳动到智能闭环:OpenClaw实战搭建小红书&公众号全自动化运营体系

如果你有一定的代码开发能力,还可以为OpenClaw开发自定义插件,拓展更多的功能,比如对接更多的平台,实现图文+短视频的全平台自动化运营;对接视频剪辑工具,实现短视频脚本生成、剪辑、配音、发布的全流程自动化;对接私域运营工具,实现公域引流、私域承接、用户转化的全链路自动化;对接电商平台,实现内容种草、商品上架、订单管理的全流程自动化,打造完整的内容电商闭环。新媒体运营的本质,是内容价值的传递,而不是机械的重复劳动。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 312

《无线传感网络 matlab》:从入门到实践

这就是如何使用Matlab建立一个简单的无线传感网络并进行仿真的方法。当然,这只是一个入门级的示例,真正的无线传感网络可能会更加复杂和庞大。首先,我们需要创建一个无线传感网络的基础结构。接下来,我们需要定义一个数据包的格式,以便节点之间可以交换信息。无线传感网络是一种由无线传感器节点组成的、自组织的网络。现在,我们可以开始编写节点代码了。我们将使用Matlab提供的工具箱来构建一个简单的无线传感网络,并对其进行仿真和分析。现在,我们可以将这个节点复制9次,以创建一个包含10个节点的无线传感网络。

NoerrorCode的博客 297

C++线程池设计原理与实现:从生产者-消费者模型到工业级实践

并发编程是现代软件开发的核心技术之一,旨在通过多线程并行执行提升程序性能。其底层原理基于操作系统线程调度与同步机制,通过合理管理线程生命周期来优化资源利用率。线程池作为并发编程的关键技术组件,通过复用线程减少创建销毁开销,显著提升系统吞吐量和稳定性。该技术在高性能服务器、游戏引擎、金融交易等对实时性要求极高的应用场景中价值尤为突出。本文以C++线程池为例,深入剖析其基于生产者-消费者模型的架构设计,涵盖任务队列、同步原语、线程管理等核心组件,并针对死锁陷阱、异常处理等常见问题提供工程实践解决方案。

defkaug153461的博客 464

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

从认知漏斗到高效沟通:技术项目介绍的系统化构建指南

在信息爆炸的时代,高效的技术沟通与信息传递是工程师和项目负责人的核心能力。其原理在于通过结构化设计,降低受众的认知成本,快速建立价值共识。这项能力的核心价值在于它能直接影响项目的可见性、采纳率与协作效率,广泛应用于开源项目推广、技术方案宣讲、产品文档撰写及个人技术品牌建设等场景。本文以构建高转化率的“认知漏斗”为核心理念,深入剖析如何通过精准的受众分析、信息分层策略(如黄金30秒法则)以及模块化的内容结构,将看似简单的“项目介绍”打造为强大的“认知接口”。文中融合了“价值锚定”、“快速开始”等关键热词,系统

weixin_42522009的博客 305

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

自研ax调度系统:从时间轮原理到落地实践与踩坑指南

在后台工程架构中,定时任务调度是连接业务逻辑与时间维度的关键基础设施。传统的cron脚本与Spring @Scheduled注解在任务规模增长后,常面临秒级精度不足、分布式环境执行不一致、失败重试与可观测性缺失等瓶颈。为解决这些问题,业内引入了基于时间轮算法的内存高效调度模型,通过环形数组与指针推进,将任务触发复杂度从数据库轮询降为内存操作,实现高吞吐、低延迟的定时触发能力。时间轮调度器广泛应用于延迟消息、超时关单、周期报表生成与分布式任务分发等场景,是替代散装cron方案的主流架构设计。本文详细拆解自研a

weixin_28713299的博客 68

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Context-Mode工程实践:上下文感知的运行模式设计与落地

在分布式系统与高并发场景下,系统需要根据运行环境动态调整行为策略。上下文感知的运行模式通过检测环境、负载、健康度等上下文维度,自动切换配置与资源分配,实现资源利用与稳定性的平衡。其核心原理是将上下文状态映射为可组合的模式标签,并采用轻量检测、平滑切换与兜底策略。这一机制在微服务治理、前端适配、数据管道及移动开发中均有广泛应用,能显著提升系统弹性与资源效率。本文系统梳理了context-mode的设计原则、实操方法与跨领域迁移经验。

weixin_29611239的博客 286
上一篇: 一口气说出 6 种实现延时消息的方案,还有谁不会?!
下一篇: 蚂蚁:实现异步的8种方式,你知道几个?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值