Disruptor之RingBuffer

最新推荐文章于 2023-12-23 23:01:37 发布
原创 最新推荐文章于 2023-12-23 23:01:37 发布 · 295 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了RingBuffer的数据结构原理及其在Disruptor高性能并发框架中的应用。详细讲解了如何进行数据的写入与读取操作，同时介绍了WorkPool的工作机制，为开发者提供了实践指导。

https://my.oschina.net/manmao/blog/803080

https://my.oschina.net/u/1765168/blog/1807887

写入Ring Buffer

https://cloud.tencent.com/developer/article/1025033

如何从 Ring Buffer 读取?

https://cloud.tencent.com/developer/article/1030803

Disruptor简单使用

https://cloud.tencent.com/developer/article/1408645

 

WorkPool

https://www.cnblogs.com/gyli20170901/p/10272336.html

https://blog.51cto.com/zhangfengzhe/1885830

https://blog.youkuaiyun.com/zhangbin666/article/details/64122858

https://www.iteye.com/blog/abc08010051-2246976

Disruptor源码分析（二）RingBuffer
闲来无事
12-06 1103
RingBuffer，从字面上看，它是一个环形缓冲队列。实际上，它不是一个队列，因为它不具备队列的特性，比如FIFO等。 RingBuffer本身是一个数组，之所以说它是环形队列，因为它通过算法维持了一个类似环形队列的数据结构。 上图是对RingBuffer的一个抽象描述。 假定一个8个槽的RingBuffer，则本质上是一个长度为8的数组，那如何模拟一个环形队列呢？ 通过序列号（se...
应用disruptor队列-ringBuffer环形缓冲器
wqr111的博客
11-14 568
Component/*** 发布*/// 发布事件try {
disruptor简介入门
qq_32355291的博客
12-23 462
Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，并且是一个开源的并发框架，并获得2011Duke’s程序框架创新奖。能够在无锁的情况下实现网络的Queue并发操作，基于Disruptor开发的系统单线程能支撑每秒600万订单。目前，包括Apache Storm、Camel、Log4j2等等知名的框架都在内部集成了Disruptor用来替代jdk的队列，以此来获得高性能。测试项目测试结果Lock26000msCAS4840ms无锁197ms。
高性能的异步处理框架Disruptor(一)——认识RingBuffer与Disruptor
不能说的秘密的博客
10-09 1326
Disruptor是什么 Disruptor 是一个高性能的异步处理框架。 可以认为是最快的消息框架(轻量的 JMS)，也可以认为是一个观察者模式的实现，或者事件监听模式的实现。它允许开发者使用多线程技术去创建基于任务的工作流。Disruptor 能用来并行创建任务，同时保证多个处理过程的有序性。Disruptor 的目标就是快，高效。 ArrayBlockingQueue也是一个非常优秀的有界队...
强如 Disruptor 也发生内存溢出？
weixin_34041003的博客
08-29 812
前言 OutOfMemoryError 问题相信很多朋友都遇到过，相对于常见的业务异常（数组越界、空指针等）来说这类问题是很难定位和解决的。 本文以最近碰到的一次线上内存溢出的定位、解决问题的方式展开；希望能对碰到类似问题的同学带来思路和帮助。 主要从表现-->排查-->定位-->解决 四个步骤来分析和解决问题。 表象 最近我们生产上的一个应用不断的爆出内存溢出，并且随着业务量...
Disruptor（一）Disruptor概念和RingBuffer数据结构
Mr_沉溺的博客
10-28 834
Disruptor是LMAX公司开源的一个高效的内存无锁队列。 谈到并发程序设计，有几个概念是避免不了的。 1、锁： 锁是用来做并发最简单的方式，当然其代价也是最高的。内核态的锁的时候需要操作系统进行一次上下文切换，等待锁的线程会被挂起直至锁释放。在上下文切换的时候，cpu之前缓存的指令和数据都将失效，对性能有很大的损失。用户态的锁虽然避免了这些问题，但是其实它们只是在没有真实的竞争时才有效。 2、CAS： CAS的涵义不多介绍了。使用CAS时不像上锁那样需要一次上下文切换，但是也需要处理器锁住它的指令流水
Disruptor（二）RingBuffer读取
Mr_沉溺的博客
10-28 916
上一章主要介绍Ring Buffer的数据结构，本章主要讲解如何使用Disruptor从Ring Buffer中读取数据。 1、消费者通过ProcessingSequenceBarrier读取数据 能够读取数据的前提是数据已经写入到Ring Buffer中，关于数据的写入，后面一章节会详细讲解。 RingBuffer的元素的大小是2的n次方（上面ringBufferSize为8，从序号0开始）。消费者(Consumer)是一个想从RingBuffer里读取数据的线程，它可以通过访问ProcessingSe
Disruptor核心-RingBuffer 以及阻塞策略 WaitStrategy
zelxnxy的博客
08-17 1907
com.lmax.disruptor.WaitStrategy 决定一个消费者如何等待生产者将Event置入Disruptor； 其所有实现都是针对消费者线程的； 主要策略有 com.lmax.disruptor.BlockingWaitStrategy com.lmax.disruptor.SleepingWaitStrategy com.lmax.disruptor.YieldingWaitStrategy com.lmax.disruptor.BlockingWaitStrategy 最低
Disruptor并发框架，核心组件RingBuffer
qq_3316359388的博客
01-20 897
1.1 Disruptor并发框架简介 Martin Fowler在自己网站上写了一篇LMAX架构的文章，在文章中他介绍了LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中，使用事件源驱动方式。业务逻辑处理器的核心是Disruptor。 Disrupto...
Disruptor核心（二） RingBuffer
乌鲁木齐001号程序员
04-02 348
Disruptor核心原理 初看Disruptor，给人的印象RingBuffer是其核心，生产者向RingBuffer写元素，消费者从RingBuffer消费元素； 组件com.lmax.disruptor.dsl.Disruptor定义 可以理解成辅助类，用于启停，和消费者建立连接，里面包含了RingBuffer，消费者线程池Executor，消...
Disruptor RingBuffer 原理
justsomebody126的专栏
01-10 3135
Disruptor 源码 https://github.com/LMAX-Exchange/disruptor/blob/master/README.mdhttps://github.com/LMAX-Exchange/disruptor/wiki/Introductionhttps://github.com/LMAX-Exchange/disruptor/wiki/Getting-Starte...
Java 并发框架 Disruptor 源码分析：RingBuffer
albon arith
10-17 3240
Disruptor 是一个高性能的线程间通信库。它来自于 LMAX 对并发、性能和非阻塞算法的研究，如今交易系统基础架构的核心部分。这里，我们围绕其基础数据结构 RingBuffer，深入源码学习一下其实现。
Java并发编程十二 Disruptor框架RingBuffer
刘越洋子
05-22 1544
Java并发编程十二 Disruptor框架RingBuffer 1. RingBuffer原理 Disruptor整个框架的核心就是RingBuffer，也是为什么Disruptor为什么高效率的关键。 RingBuffer是一个首尾相连的环形数据结构，没有尾指针，只维护了一个指向下一个可用位置的序号。 详细原理查看 http://ifeve.com/dissecting-disrupt...
disruptor 框架使用以及ringbuffer原理解析
qq_31443653的博客
10-29 6687
Disruptor 概述 子主题 1 生产者消费组框架 子主题 2 使用 子主题 1 1.建Event类（数据对象） 2.建立一个生产数据的工厂类，EventFactory，用于生产数据； 3.监听事件类（处理Event数据） 4.实例化Disruptor，配置参数，绑定事件； 5.建存放数据的核心 RingBuffer，生产的数据放入 RungBuffer。 ringbuffer 它...
高性能队列—Disruptor和RingBuffer
zehuawong的博客
08-31 316
高性能队列——Disruptor
高性能的异步处理框架Disruptor(二)——Disruptor对RingBuffer的读写策略
不能说的秘密的博客
10-09 901
前文了解了Disruptor与RingBuffer的基础知识后，接下来了解Disruptor对 ringbuffer的访问控制策略。 Disruptor对RingBuffer的读取策略 假设消费者(Consumer)是一个想从 Ring Buffer 里读取数据的线程，它可以访问 ConsumerBarrier对象——这个 对象由 RingBuffer 创建并且代表消费者与 RingBuffer ...
disrupter java_Disruptor简单使用
weixin_36272079的博客
02-27 696
在定位项目中内存泄漏问题时，发现RingBuffer占用内存过大，这个是在使用log4j2时引入的jar,以前只知道必须使用这个Disruptor才可以用异步日志，但是并不清楚Disruptor的一些实现，也没有通过编码的方式使用过，这次正好研究一下。Disruptor是一个低延迟(low-latency)，高吞吐量(high-throughput)的事件发布订阅框架，用于一个JVM中多个线程之间...
Disruptor RingBuffer
最新发布
02-10
### Disruptor库中的RingBuffer用法与实现 #### 初始化RingBuffer 在Servlet实例化时初始化RingBuffer是一种常见做法，这可以确保在整个应用生命周期内只创建一次RingBuffer对象[^1]。 #### RingBuffer的工作机制 RingBuffer内部维护着一系列槽(slot)，这些槽用于存储事件数据。为了追踪当前处理位置，“指针”被用来表示下一个可用的位置。“指针”的类型为Java `long`型(64位有符号整数), 并通过不断递增来指向新的位置[^2]。 #### 创建和配置RingBuffer 下面是一个简单的例子展示如何设置并启动一个基于Disruptor框架的RingBuffer： ```java import com.lmax.disruptor.RingBuffer; import com.lmax.disruptor.dsl.Disruptor; // 定义事件工厂 public class LongEventFactory implements EventFactory<LongEvent> { @Override public LongEvent newInstance() { return new LongEvent(); } } // 主程序入口 public static void main(String[] args) throws InterruptedException { // 设置缓冲区大小（必须是2的幂） int bufferSize = 1024; // 构建Disruptor实例 Disruptor<LongEvent> disruptor = new Disruptor<>(new LongEventFactory(), bufferSize, Executors.defaultThreadFactory()); // 启动Disruptor disruptor.start(); // 获取RingBuffer引用 RingBuffer<LongEvent> ringBuffer = disruptor.getRingBuffer(); } ``` 这段代码展示了如何定义事件工厂以及怎样构建和启动Disruptor实例。这里需要注意的是，环形缓冲区(`RingBuffer`) 的容量应当设定成2的次方数以优化性能。 #### 发布事件到RingBuffer 当向RingBuffer发布新事件时，通常会经历以下几个过程: - 请求下一个序号(next sequence number) - 填充对应slot的数据 - 提交该事件(publish) 以下是具体的实现方式： ```java try { long sequence = ringBuffer.next(); // 预留一个slot try { LongEvent event = ringBuffer.get(sequence); event.setValue(valueToPublish); // 将实际值赋给event } finally { ringBuffer.publish(sequence); // 发布事件 } } catch (Exception e){ System.err.println("Error publishing event"); } ``` 此段代码说明了如何安全地获取序列号、填充事件内容并将之提交至RingBuffer中。特别注意，在操作完成后调用了publish方法以便通知消费者线程存在待处理的新消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值