从零手写一个无锁 MPMC 环形队列(上):基于序号(Sequence)与 CAS 消除 ABA 问题的核心数据结构

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

封面信息图

在并发编程的世界里,队列(Queue)是连接不同计算阶段的最核心通道。

根据并发两端的角色,队列通常被划分为四种模型:

  • SPSC(单生产者单消费者):最简单,只需两个原子指针分别由两端独立推进,完全不需要 CAS;
  • MPSC / SPMC(单端竞争):中等难度,只需在一端通过 CAS 或链表头插法竞争;
  • MPMC(多生产者多消费者):并发编程的珠穆朗玛峰。多个生产者不仅要互相抢占写入槽位,还要与多个并发消费的消费者进行实时的空间状态协商。

在 Rust 工业级生态中,crossbeam-channel 的底层核心就是这样一个极其精密的有界 MPMC 无锁队列。它在 Linux 下支撑起了每秒上千万条消息的微秒级流转。

许多人以为实现无锁队列就是拿一个 AtomicPtr 连成链表(类似经典的 Michael-Scott 队列)。但在现代高吞吐场景下,链表方案几乎是灾难:每个节点进出都要触发一次 Box::new 堆分配,链表指针在内存中到处跳跃导致 CPU 缓存频繁失效,而且在释放节点指针时还会一头撞上臭名昭著的 ABA 内存复用陷阱。

今天,我们采用高并发大师 Dmitry Vyukov 提出的经典定长环形缓冲区(Bounded Ring Buffer)架构,从零手写一个零堆分配、缓存连续、基于插槽单调递增序号(Sequence)消除 ABA 隐患的 Rust 原生无锁 MPMC 队列核心底座。


一、为什么环形数组 + 序号能终结 ABA 陷阱?

在无锁编程中,ABA 问题是指:线程 1 观察到指针值为 A,准备执行 CAS 操作;此时线程 2 快速将指针改为 B,又改回为 A;当线程 1 再次执行 CAS 时,虽然发现值依然是 A 并成功替换,但背后的实际数据结构可能已经面目全非(例如原节点已被释放并重新分配)。

要解决 ABA 问题,学术界通常采用危险指针(Hazard Pointer)或代际计数器(Epoch-based Reclamation),但它们都引入了不菲的运行时管理开销。

而在定长环形数组中,我们可以使用极其优雅的**插槽单调自增序号(Slot Sequence)**方案:

  1. 预先分配一块容量为 $N$ 的连续数组($N$ 通常为 2 的幂次方);
  2. 每一个插槽内部不仅保存数据,还内嵌一个专属的 AtomicUsize sequence 序号;
  3. 数组初始化时,第 $i$ 个插槽的 sequence 被初始赋为 $i$;
  4. 当生产者准备向该插槽写入第 1 轮数据时,它必须要求插槽当前的 sequence 必须恰好等于预期值;写入完成后,它把 sequence 推进到特定值;
  5. 消费者读取完毕后,再把 sequence 推进一个步长,为下一轮循环的生产者放行。

由于序号永远沿着单调递增的生命周期旋转,同一个插槽在不同的业务轮次中永远拥有独一无二的序号状态,从而在数学逻辑上彻底消灭了 ABA 状态倒退的可能性!


二、核心插槽与环形队列的数据结构定义

我们首先定义包含数据槽位与原子序号的单插槽结构 Slot<T>:

use std::cell::UnsafeCell;
use std::mem::MaybeUninit;
use std::sync::atomic::{AtomicUsize, Ordering};

/// 队列中的单个插槽
struct Slot<T> {
    /// 状态控制序号(必须是原子变量)
    sequence: AtomicUsize,
    /// 存储未初始化或有效数据的裸内存槽位
    value: UnsafeCell<MaybeUninit<T>>,
}

// 保证 Slot 可以在线程间安全共享引用的约束
unsafe impl<T: Send> Sync for Slot<T> {}

紧接着,我们定义环形队列的主结构体 MpmcRingQueue<T>。
为了最大化 CPU 缓存友好度并规避伪共享(False Sharing),生产者游标 head 与消费者游标 tail 必须进行严谨的物理隔离:

use std::sync::Arc;

/// 缓存行填充包装器,防止 head 和 tail 挤在同一个 64 字节 Cache Line 内
#[repr(align(64))]
struct CachePadded<T> {
    value: T,
}

impl<T> CachePadded<T> {
    fn new(value: T) -> Self {
        Self { value }
    }
}

impl<T> std::ops::Deref for CachePadded<T> {
    type Target = T;
    fn deref(&self) -> &T {
        &self.value
    }
}

pub struct MpmcRingQueue<T> {
    /// 预分配的连续插槽缓冲区
    buffer: Box<[Slot<T>]>,
    /// 掩码(容量 - 1),用于快速位运算取模:index = pos & mask
    mask: usize,
    /// 生产者写入游标(严格对齐到独立缓存行)
    head: CachePadded<AtomicUsize>,
    /// 消费者读取游标(严格对齐到独立缓存行)
    tail: CachePadded<AtomicUsize>,
}

unsafe impl<T: Send> Send for MpmcRingQueue<T> {}
unsafe impl<T: Send> Sync for MpmcRingQueue<T> {}

三、插槽序号状态转移方程推导

这是整个无锁算法最惊心动魄的数学核心。

假设队列容量为 $C = 4$(掩码为 $C - 1 = 3$),初始状态下:

  • 插槽 0 的 sequence = 0
  • 插槽 1 的 sequence = 1
  • 插槽 2 的 sequence = 2
  • 插槽 3 的 sequence = 3
  • head = 0,tail = 0

写入端(Producer)的状态演进法则:

  1. 生产者读取全局游标 head,假设当前拿到位置 $pos = 0$;
  2. 目标插槽索引为 $index = pos \ & \ mask = 0$;
  3. 可写条件:读取插槽 0 的当前序号 $seq$。只有当 $seq == pos$ 时,说明该插槽处于“空闲可写状态”;
  4. 生产者通过 CAS 尝试将全局 head 从 $pos$ 推进到 $pos + 1$;
    • CAS 成功:说明当前生产者正式夺得了该插槽的独占写入权!
    • CAS 失败:说明其他并发生产者抢先一步,当前生产者重新循环重试;
  5. 独占写入:生产者向插槽内部的 UnsafeCell 安全写入数据;
  6. 发布数据:生产者将该插槽的序号原子更新为 $pos + 1$(使用 Release 内存屏障)!

读取端(Consumer)的状态演进法则:

  1. 消费者读取全局游标 tail,假设当前拿到位置 $pos = 0$;
  2. 目标插槽索引为 $index = pos \ & \ mask = 0$;
  3. 可读条件:读取插槽 0 的当前序号 $seq$。只有当 $seq == pos + 1$ 时,说明生产者已经完整写入了数据!
  4. 消费者通过 CAS 尝试将全局 tail 从 $pos$ 推进到 $pos + 1$;
    • CAS 成功:夺得独占读取权!
    • CAS 失败:重新重试;
  5. 独占读取:消费者从 UnsafeCell 取出数据;
  6. 归还插槽:消费者将该插槽的序号原子更新为 $pos + C$($pos + \text{capacity}$,同样使用 Release 屏障)!

注意看第 6 步:插槽 0 的序号从 1 被更新为了 $0 + 4 = 4$。
当下一轮生产者转了一整圈重新来到位置 $pos = 4$ 时,它要求的可写条件正是 $seq == pos$(即 $4 == 4$)!
整个生命周期构成了一条完美的、永不逆流的单调递增时空链!


四、队列初始化构造代码实现

在构造队列时,我们强制要求容量必须是 2 的幂次方,以便将昂贵的硬件除法取模(% capacity)替换为纳秒级的位与操作(& mask):

impl<T> MpmcRingQueue<T> {
    /// 创建指定容量的无锁队列(容量必须为 2 的幂,且大于 1)
    pub fn new(capacity: usize) -> Self {
        assert!(capacity >= 2, "队列容量必须大于等于 2");
        assert!(capacity.is_power_of_two(), "队列容量必须为 2 的幂次方(如 64, 256, 1024)");

        // 预分配连续切片并初始化各个插槽的 sequence 序号
        let mut slots = Vec::with_capacity(capacity);
        for i in 0..capacity {
            slots.push(Slot {
                sequence: AtomicUsize::new(i),
                value: UnsafeCell::new(MaybeUninit::uninit()),
            });
        }

        Self {
            buffer: slots.into_boxed_slice(),
            mask: capacity - 1,
            head: CachePadded::new(AtomicUsize::new(0)),
            tail: CachePadded::new(AtomicUsize::new(0)),
        }
    }

    /// 获取队列总容量
    #[inline(always)]
    pub fn capacity(&self) -> usize {
        self.mask + 1
    }
}

五、阶段性设计审视

到目前为止,我们已经搭建好了 MPMC 队列最坚不可摧的骨架:

  1. 内存连续无碎片:所有插槽在初始化阶段一次性分配完毕,后续入队出队完全没有任何 malloc 系统调用;
  2. 物理防伪共享:通过 #[repr(align(64))] 让高频被生产者修改的 head 和被消费者修改的 tail 坐落在完全隔离的硬件缓存行上;
  3. 状态自洽与代际隔离:每个插槽的单调序号机制在数学层面对抗了 ABA 幽灵。

在明天的下篇中,我们将手写最核心的 push 和 pop 算法,推导 Acquire-Release 内存屏障的严密逻辑,并在多核服务器上与标准库 channel 展开最终的性能对决!

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1332

手写无锁 MPMC 循环队列:基于 Sequence 序号的 Dmitry Vyukov 算法 Rust 深度实作

在多线程高并发系统开发中,多生产者多消费者(Multi-Producer Multi-Consumer, MPMC)有界环形队列是当之无愧的“性能终极心脏”。无论是在 Go 语言的调度器底座、Linux 内核的网络环形缓冲区,还是在低延迟高频量化交易系统的撮合引擎中,你总能看到它的身影。绝大多数并发初学者在尝试手写 MPMC 队列时,往往会直接在单生产者队列(SPSC)的基础上给head和tail加两把 CAS 锁。

no1coder的博客 725

Ubuntu Server 24.04 安装 (超详细)

本文介绍最小化安装 Ubuntu Server的详细过程。

炀炀的专栏 1万+

C++低延迟编程实战:从硬件原理到高频交易系统优化

在计算机系统性能优化领域,低延迟编程是追求极致响应速度的核心技术。其原理基于对计算机体系结构的深刻理解,特别是CPU缓存机制、内存访问模式和多线程并发控制。通过优化数据局部性、减少间接访问和消除不必要的系统开销,低延迟技术能够将应用程序的响应时间从毫秒级压缩到微秒甚至纳秒级。这种技术在高频交易、实时游戏服务器和物联网网关等场景中具有极高价值,直接关系到系统的盈利能力和用户体验。本文聚焦于C++语言在低延迟应用中的实践,深入探讨了单写单读无锁队列(SPSC Ring Buffer)和对象池(Object Po

weixin_33968104的博客 371

Tomcat漏洞——弱口令爆破

靶机:CentOS7 IP:192.168.100.40。攻击机:kali IP:192.168.100.60。版 权 声 明:本博客所有文章除特别声明外,均采用。文章版权归作者所有,未经允许请勿转载!作 者:PeiyuJue。

weixin_57379923的博客 911

【可穿戴算法开发】-PPG信号检测方法

文章目录一、PPG(光电容积脉搏波法)信号的检测原理二.PPG技术目前存在的问题(挑战)三. **心电信号产生的原理** 随着经济的发展,在人们生活水平提高的同时,高脂肪摄入和低运动量成为了人们普遍的生活模式,近年来高血压、高血脂已经发展为危险性最高的病症。心电、血压、血氧等生理参数是预防和分析心血管疾病的重要生理参数。 常用的心电测量仪器有:多导ECG心电图仪、PPG心率检测器、心率带等; 常...

wxq_1993的博客 2万+

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 352

搭建云流媒体存储服务+直播+gb81818+智能摄像头,海康威视,大华,华为,国标推流,RTSP 拉流 srs

开源项目:https://github.com/ossrs/srs-docker#usage 1.centos7安装编译 Step1:拉git代码,切换到开发分支 git clone https://gitee.com/winlinvip/srs.oschina.git srs && cd srs/trunk && git remote set-url origin https://github.com/ossrs/srs.git && git

jxyk2007的专栏 3536

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 294

flowable工作流看这一篇就够了(基础篇)

接下来我们构建一个非常简单的请假流程,Flowable引擎需要流程定义为BPMN 2.0格式,这是一个业界广泛接受的XML标准。在Flowable术语中,我们将其称为一个流程定义(process definition)。一个流程定义可以启动多个流程实例(process instance)。流程定义可以看做是重复执行流程的蓝图。在这个例子中,流程定义定义了请假的各个步骤,而一个流程实例对应某个雇员提出的一个请假申请。

qq_38196449的博客 2万+

基于本机知识库 + 豆包(火山引擎)+ MCP的落地方案

最小 MVP:本地知识库 + Doubao Embedding + 简单检索。工具化:把检索/写入/系统功能通过 MCP 封装。Agent 编排:RAG 流程 + 自检 + 引用输出。这样你就可以快速落地一个基于豆包 + 本机知识库的 MCP Agent。

lpfasd123的博客 1100

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 619

国科大学习资料--现代数字信号处理I(张颢)--2020年期末考试试卷

国科大学习资料–现代数字信号处理I(张颢)–2020年期末考试试卷 国科大学习资料–现代数字信号处理I(张颢)–2020年期末考试试卷 国科大学习资料–现代数字信号处理I(张颢)–2020年期末考试试卷 =========================================================================================================================================================

无名何许人的博客 3579

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 211

【WRF实操】四层嵌套网格设计-以粤港澳大湾区GBA为例

四层嵌套网格设计-以粤港澳大湾区GBA为例

WW、forever的博客 822

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 347

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 89

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 163

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 520

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 625

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

411

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 402

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5180

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 580

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 182
上一篇: 用 Miri 狙击跨语言引用的幽灵别名:Stacked Borrows 与 Tree Borrows 内存模型实战
下一篇: 源码级拆解 Tokio 协作式让步(yield_now):预算(Budget)机制是如何在微秒级阻断长尾饥饿的
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值