祺洛后台管理 Rust 任务处理系统中的并发设计模式分析

原创

已于 2025-07-09 11:09:11 修改 · 1k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#rust #开发语言 #后端

于 2025-07-09 02:12:18 首次发布

Rust 任务处理系统中的并发设计模式分析

概述

本文档深入分析了 Rust 任务处理系统中 Processor::run() 方法的并发设计模式，重点讨论为什么工作线程需要复制多份而调度器只需要单例，以及多消费者单调度器模式的设计原理。

系统架构概览

核心组件

┌─────────────────────────────────────────────────────────────┐
│                    Processor::run()                        │
├─────────────────────────────────────────────────────────────┤
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────┐ │
│ │  Worker 1   │ │  Worker 2   │ │  Worker 3   │ │   ...   │ │
│ │(Cloned Self)│ │(Cloned Self)│ │(Cloned Self)│ │         │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ └─────────┘ │
├─────────────────────────────────────────────────────────────┤
│ ┌─────────────────────────────────────────────────────────┐ │
│ │         Retry/Schedule Poller (Single Instance)        │ │
│ │           sched.enqueue_jobs() - Every 5s              │ │
│ └─────────────────────────────────────────────────────────┘ │
├─────────────────────────────────────────────────────────────┤
│ ┌─────────────────────────────────────────────────────────┐ │
│ │        Periodic Job Poller (Single Instance)           │ │
│ │      sched.enqueue_periodic_jobs() - Every 30s         │ │
│ └─────────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘

设计模式分析

多消费者模式（工作线程）

为什么需要复制多份 Processor

1. 并行处理需求

// 每个工作线程都需要独立的处理能力
for i in 0..self.num_workers {
   
   
    join_set.spawn({
   
   
        let mut processor = self.clone(); // 克隆实例
        async move {
   
   
            loop {
   
   
                // 独立处理任务
                if let Err