高性能无锁队列 Disruptor 初体验

Java 无锁队列 Disruptor,内存队列的生产解决方案 背景 Disruptor是英国外汇交易所LMAX开源的用于生产交易中的内存队列。 为了实现高性能交易撮合队列时,现在普遍的交易撮合引擎都采用了内存队列的方式,这种方式减少了持久化过程中带来的磁盘IO延迟,可以提交整体的交易性能。 Disruptor便是这样场景中诞生的,在实际使用过程中,LMAX基于Disruptor开发的系统单线程能支撑每秒600万订单。 Java队列 内存队列通常用于内存共享场景下的,而共享内存与锁有必然分不开的情缘,在java内置的线程安全的队列有以下: 队列 有界性 锁 数据 阅读详情

原文地址: haifeiWu和他朋友们的博客
博客地址:www.hchstudio.cn
欢迎转载,转载请注明作者及出处,谢谢!

最近一直在研究队列的一些问题,今天楼主要分享一个高性能的队列 Disruptor 。

what Disruptor ?

它是英国外汇交易公司 LMAX 开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题。基于 Disruptor 开发的系统单线程能支撑每秒600万订单。

目前,包括 Apache Storm、Log4j2 在内的很多知名项目都应用了Disruptor以获取高性能。在楼主公司内部使用 Disruptor 与 Netty 结合用来做 GPS 实时数据的处理,性能相当强悍。本文从实战角度来大概了解一下 Disruptor 的实现原理。

why Disruptor ?

Disruptor通过以下设计来解决队列速度慢的问题:

  • 环形数组结构
    为了避免垃圾回收,采用数组而非链表。因为,数组对处理器的缓存机制更加友好。

  • 元素位置定位
    数组长度2^n,通过位运算,加快定位的速度。下标采取递增的形式。不用担心index溢出的问题。index是long类型,即使100万QPS的处理速度,也需要30万年才能用完。

  • 无锁设计
    每个生产者或者消费者线程,会先申请可以操作的元素在数组中的位置,申请到之后,直接在该位置写入或者读取数据。

  • 针对伪共享问题的优化
    Disruptor 消除这个问题,至少对于缓存行大小是64字节或更少的处理器架构来说是这样的(有可能处理器的缓存行是128字节,那么使用64字节填充还是会存在伪共享问题),通过增加补全来确保ring buffer的序列号不会和其他东西同时存在于一个缓存行中。

how Disruptor ?

通过上面的介绍,我们大概可以了解到 Disruptor 是一个高性能的无锁队列,那么该如何使用呢,下面楼主通过 Disruptor 实现一个简单的生产者消费者模型,介绍 Disruptor 的使用

首先,根据 Disruptor 的事件驱动的编程模型,我们需要定义一个事件来携带数据。


public class DataEvent {
    private long value;

    public void set(long value) {
        this.value = value;
    }

    public long getValue() {
        return value;
    }
}

为了让 Disruptor 为我们预先分配这些事件,我们需要构造一个 EventFactory 来执行构造


public class DataEventFactory implements EventFactory<DataEvent> {

    @Override
    public DataEvent newInstance() {
        return new DataEvent();
    }
}

一旦我们定义了事件,我们需要创建一个处理这些事件的消费者。 在我们的例子中,我们要做的就是从控制台中打印出值。

public class DataEventHandler implements EventHandler<DataEvent> {
    @Override
    public void onEvent(DataEvent dataEvent, long l, boolean b) throws Exception {
        new DataEventConsumer(dataEvent);
    }
}

接下来我们需要初始化 Disruptor ,并定义一个生产者来生成消息


public class DisruptorManager {

    private final static Logger LOG = LoggerFactory.getLogger(DisruptorManager.class);

    /*消费者线程池*/
    private static ExecutorService threadPool;
    private static Disruptor<DataEvent> disruptor;
    private static RingBuffer<DataEvent> ringBuffer;

    private static AtomicLong dataNum = new AtomicLong();

    public static void init(EventHandler<DataEvent> eventHandler) {

        //初始化disruptor
        threadPool = Executors.newCachedThreadPool();
        disruptor = new Disruptor<>(new DataEventFactory(), 8 * 1024, threadPool, ProducerType.MULTI, new BlockingWaitStrategy());

        ringBuffer = disruptor.getRingBuffer();
        disruptor.handleEventsWith(eventHandler);
        disruptor.start();

        new Timer().schedule(new TimerTask() {
            @Override
            public void run() {
                LOG.info("放入队列中数据编号{},队列剩余空间{}", dataNum.get(), ringBuffer.remainingCapacity());
            }
        }, new Date(), 60 * 1000);
    }

    /**
     *
     * @param message
     */
    public static void putDataToQueue(long message) {
        if (dataNum.get() == Long.MAX_VALUE) {
            dataNum.set(0L);
        }

        // 往队列中加事件
        long next = ringBuffer.next();
        try {
            ringBuffer.get(next).set(message);
            dataNum.incrementAndGet();
        } catch (Exception e) {
            LOG.error("向RingBuffer存入数据[{}]出现异常=>{}", message, e.getStackTrace());
        } finally {
            ringBuffer.publish(next);
        }
    }

    public static void close() {
        threadPool.shutdown();
        disruptor.shutdown();
    }
}

最后我们来定义一个 Main 方法来执行代码


public class EventMain {

    public static void main(String[] args) throws Exception {
        DisruptorManager.init(new DataEventHandler());
        for (long l = 0; true; l++) {
            DisruptorManager.putDataToQueue(l);
            Thread.sleep(1000);
        }
    }
}

上面代码具体感兴趣的小伙伴请移步 https://github.com/haifeiWu/disruptor-learn

然后我们可以看到控制台打印出来的数据

console

小结

Disruptor 通过精巧的无锁设计实现了在高并发情形下的高性能。

另外在Log4j 2中的异步模式采用了Disruptor来处理。在这里楼主遇到一个小问题,就是在使用Log4j 2通过 TCP 模式往 logstash 发日志数据的时候,由于网络问题导致链接中断,从而导致 Log4j 2 不停的往 ringbuffer 中写数据,ringbuffer数据没有消费者,导致服务器内存跑满。解决方案是设置 Log4j 2 中 Disruptor 队列有界,或者换成 UDP 模式来写日志数据(如果数据不重要的话)。

参考链接

Disruptor-cpp:LMAX Disruptor到C ++的端口 Disruptor-cpp 总览 Disruptor-cpp是功能齐全的C ++端口。 实现java Disruptor v3.3.7中可用的所有功能。 建造 编译器 Clang 3.8或更高版本 GCC 5.0或更高版本 Microsoft Visual C ++ 2015或更高版本 Linux 必须在您的计算机上可用。 您可以使用自己喜欢的软件包管理器进行安装,也可以自行构建。 如果将安装到标准系统位置,则以下命令将开始构建: mkdir build && cd build cmake .. -DCMAKE_BUILD_TYPE=release make 如果已安装到自定义位置,则可能需要指定BOOST_ROOT变量。 有关详细信息,请参考文档。 (可选)您可能希望编译并运行单元测试和基准测试。 通过DISRUPTOR_BUILD_TESTS标志激活测试编译: cmake .. -DCMAKE_BUILD_TYPE=release -DDISRUPTOR_BUILD_TESTS=true 视窗 在Windows上编译库的最简单方法是使用提供的Visual Studio解决 立即下载

相关推荐

disruptor_cpp:单个生产者的 LMAX 破坏者的 CPP 实施

破坏者_cpp LMAX 干扰器的 C++ 实现( )。 目标如下... 提供相似或更好的性能特征 提供与java实现类似的接口 当前实现仅支持单个生产者 在其当前状态下,性能测试大致显示了对 java 实现的 x2 性能改进,如 one_to_one_sequenced_throughput_test 的输出所示 Java Run 0, Disruptor=49,212,598 ops/sec Run 1, Disruptor=51,921,079 ops/sec Run 2, Disruptor=50,864,699 ops/sec Run 3, Disruptor=59,630,292 ops/sec Run 4, Disruptor=62,227,753 ops/sec Run 5, Disruptor=59,988,002 ops/sec Run 6, Disruptor

一种高效无锁内存队列的实现

Disruptor是LMAX公司开源的一个高效的内存无锁队列。这两天看了一下相关的设计文档和博客,下面尝试进行一下总结。 第一部分。引子 谈到并发程序设计,有几个概念是避免不了的。 1.锁:锁是用来做并发最简单的方式,当然其代价也是最高的。内核态的锁的时候需要操作系统进行一次上下文切换,等待锁的线程会被挂起直至锁释放。在上下文切换的时候,cpu之前缓存的指令和数据都将失效,对...

foxox 792

NCCL 源码深度解析:从初始化到通信链路构建全流程

本文深入解析了NVIDIA Collective Communication Library (NCCL) 的核心工作机制,从通信组初始化、硬件拓扑发现,到P2P、共享内存及网络传输链路的构建。详细剖析了源码中集合通信任务的执行流程与Proxy线程的协同机制,为开发者进行高性能分布式训练的性能调优与深度问题排查提供了清晰的底层视角。

hp777的博客 551

Disruptor-cpp:高性能C++并发框架

Disruptor-cpp:高性能C++并发框架 项目介绍 Disruptor-cpp 是一个功能完备的C++移植版本,源自于 LMAX Disruptor。该项目完美实现了Java Disruptor v3.3.7中的所有特性,为C++开发者提供了一个高效、低延迟的并发编程框架。无论是在金融交易、实时数据处理还是高性能计算领域,Disruptor-cpp 都能帮助开发者轻松应对高并发场景。 项目...

gitblog_00059的博客 602

ST-LINK调试STM32H743必看:CubeMX工程中缺失的这行代码导致程序跑飞

本文深入剖析了使用ST-LINK调试STM32H743时,因CubeMX工程中缺失电源电压档位配置代码而导致程序跑飞或出现“Can not access memory”错误的问题。文章解释了H7系列电源与时钟耦合的核心原理,提供了具体的代码修复方案和系统化的调试排查思路,帮助开发者从根本上解决这一常见调试困境。

weixin_29191669的博客 283

从EXIF到测绘:解码大疆影像元数据的实战应用指南

本文深入解析了大疆无人机影像元数据的实战价值,重点阐述了如何利用EXIF和XMP中的GPS、RTK、姿态角及相机内参等关键信息,提升测绘、三维重建及精准农业等项目的成果精度与效率。通过自动化质检脚本与行业应用场景剖析,指导从业者将元数据从信息转化为生产力,实现从拍照到专业测绘的跨越。

dell8的博客 531

高性能队列——Disruptor

https://tech.meituan.com/2016/11/18/disruptor.html 背景 Disruptor是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级)。基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注。2011年,企业应用软件专家Martin Fowler专门撰写长文介绍。同年它还获得了Oracle官方的Duke大奖。 目前,包括Apac

新技术革命 1237

三甲医院等级评审八维数据分析应用(三)--主数据管理篇(上)

三甲医院主数据范畴涵盖了医院运营与医疗服务全过程所涉及的核心业务实体信息,这些主数据是医院信息系统流畅运行、数据交互共享以及管理决策精准制定的基石。患者主数据作为核心要素之一,囊括了患者的基本身份信息,如姓名、性别、年龄、身份证号、联系方式等,这些信息是患者在医院就诊流程中的身份标识,贯穿挂号、就诊、检查检验、住院、出院结算等各个环节。患者的医保信息同样关键,包括医保类型、参保地、医保卡号等,直接关联医疗费用报销流程,影响医院财务结算与医保部门的数据交互。

AllenLV的博客 1660

【Java 开发日记】我们来说一下无锁队列 Disruptor 的原理

我是小假 期待与你的下一次相遇 ~

纵有疾风起 人生不言弃 3439

【定制功能】LVGL 页面管理

页面管理的主要针对实际复杂的UI项目的。支持多页面管理,包含页面跳转和返回(主要是方便项目功能管理)支持后台页面自动销毁、前台页面自动创建(主要是节约资源使用)支持语言切换逻辑(页面重建功能)支持主题切换逻辑支持页面切换动画效果首先,页面管理是针对act_src图层来讲的。仅在screens数组中供act_src切换的对象树才会被此页面管理功能所管理。这意味着,如果top_layer或者sys_layer图层上,有页面需要重建时,需要特殊处理(实际项目中top_layer或者。

Bigan(安)的博客 5754

PCL 计算点云包围球【2025最新版】

包围球通常用于简单排斥,因为与球体相交的方程很简单,同样重要的是,旋转一个球体并不会改变其范围。因此,当包围球用于简单排斥时,如果球体中心是对象的原点,则可以忽略对象的方向。

点云侠的博客 2068

高性能无锁队列Disruptor

Disruptor是由LMAX公司开发的一款高性能无锁并发框架,其核心设计目标是为高吞吐量和低延迟场景提供极致的性能解决方案。该框架基于环形队列(RingBuffer)数据结构,本质上是一个支持生产者-消费者模式的无锁队列,特别适用于金融交易系统、实时数据处理和游戏服务器等对并发性能和实时性要求极高的领域。

m0_73939789的博客 684

从 ABAP 后端到 AEX,Local Integration Engine 下的 Business System 配置全景

本文围绕SAP PI AEX配置中ABAP后端系统与AEX的连接问题,梳理了关键概念和技术脉络。重点指出基于ABAP 6.20及更高版本的业务系统内置了本地集成引擎(Local Integration Engine),负责与AEX的消息交互。配置要点包括:1)在SM59中创建HTTP类型RFC目标连接AEX;2)配置SAP_PROXY_ESR供设计时代理生成;3)通过SXMB_ADM设置业务系统角色为应用系统;4)确保SLD注册和SICF服务激活。文章特别强调运行时代理消息传递与设计时代理生成的区分,以及H

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 99

无锁队列Disruptor

1.何为队列 听到队列相信大家对其并不陌生,在我们现实生活中队列随处可见,去超市结账,你会看见大家都会一排排的站得好好的,等待结账,为什么要站得一排排的,你想象一下大家都没有素质,一窝蜂的上去结账,不仅让这个超市崩溃,还会容易造成各种踩踏事件,当然这些事其实在我们现实中也是会经常发生。 当然在计算机世界中,队列是属于一种数据结构,队列采用的FIFO(first in firstout),新元素(等待进入队列的元素)总是被插入到尾部,而读取的时候总是从头部开始读取。在计算中队列一般用来做排队(如线程池的等待排

LingHu66的博客 806

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

高性能无锁队列 Disruptor 详解

Disruptor是LMAX开发的高性能无锁队列框架,采用环形数组结构、CAS无锁算法和缓存行优化等设计,实现了百万级TPS和微秒级延迟。其核心组件包括RingBuffer、Sequence、Sequencer等,通过两阶段提交协议协调生产者和消费者。关键优化技术包括批量操作、无锁唤醒机制和内存屏障控制。Disruptor适用于金融交易等低延迟场景,相比Kafka等分布式系统具有更高性能但不支持持久化。该框架的无锁化和缓存友好设计已成为高性能编程的标杆。

csdn_tom_168的博客 942

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

你应该知道的高性能无锁队列Disruptor

转载:https://juejin.im/post/5b5f10d65188251ad06b78e3 1.何为队列 听到队列相信大家对其并不陌生,在我们现实生活中队列随处可见,去超市结账,你会看见大家都会一排排的站得好好的,等待结账,为什么要站得一排排的,你想象一下大家都没有素质,一窝蜂的上去结账,不仅让这个超市崩溃,还会容易造成各种踩踏事件,当然这些事其实在我们现实中也是会经常发生。 当然...

akunshouyoudou的博客 730

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

高性能队列Disruptor的初体验

Disruptor 是一个高性能、低延迟的无锁队列替代方案,最初由 LMAX 公司开发,专为处理高吞吐量和低延迟的消息传递系统而设计。它利用环形缓冲区(RingBuffer)和无锁的生产者-消费者模型,大幅提升并发性能。今天先初步了解Disruptor的简单用法,后续会继续介绍Disruptor的特性,为什么性能秒杀JDK提供的队列,以及相关原理分析。:用于协调生产者和消费者的进度,确保消费者不会读取尚未发布的数据。,用于跟踪当前生产和消费的位置。:一个消费者的输出作为另一个消费者的输入。

shemuel的技术笔记 1016

高性能无锁队列 Disruptor 核心原理分析及其在i主题业务中的应用

本文首先介绍了 Disruptor 高性能内存队列的基本概念、使用 Demo、高性能原理及源码分析,最后通过两个例子介绍了 Disruptor 在i主题业务中的应用。

vivo互联网技术 935

C++无锁队列的原理与实现

生产环境中广泛使用生产者和消费者模型,要求生产者在生产的同时,消费者可以进行消费,通常使用互斥锁保证数据同步。但线程互斥锁的开销仍然比较大,因此在要求高性能、低延时场景中,推荐使用无锁队列。kfifo是Linux内核的一个FIFO数据结构,采用环形循环队列的数据结构来实现,提供一个无边界的字节流服务,并且使用并行无锁编程技术,即单生产者单消费者场景下两个线程可以并发操作,不需要任何加锁行为就可以保证kfifo线程安全。

红军不怕远征难,万水千山只等闲 2573

disruptor无锁队列实现流水记录

目录 1 无锁机制简介 2 RingBuffer简介 2.1 工作原理简介 3 disruptor实现流水异步入库 3.1 定义事件实体类 3.2 定义事件服务类 3.3 定义消费者 3.3.1 单任务处理 3.3.2 批处理 3.4 运行 4pom依赖 5 参考 1 无锁机制简介 普通队列写入时需要通过锁机制避免并发,disruptor不用锁,使用CAS(Compare And Swap/Set)操作确保线程安全,这是一个CPU级别的指令,工作方式类似乐观锁。 2 Ring.

lizehao1973的博客 1178

go-queue 高性能无锁队列项目推荐

go-queue 高性能无锁队列项目推荐 项目基础介绍和主要编程语言 go-queue 是一个高性能的无锁队列项目,主要使用 Go 语言编写。该项目旨在提供一个高效、可靠的队列实现,适用于高并发场景。 项目核心功能 go-queue 的核心功能是实现了一个无锁队列(lock-free queue),该队列在多线程环境下表现出色。其设计灵感来源于美团的 Disruptor 高性能队列,但在实现上进行...

gitblog_01075的博客 614
上一篇: Netty 源码中对 Redis 协议的实现
whfstudio
博客等级 码龄10年 12粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值