一种重置生产者消费者模式的消费队列的线程安全的做法(java)

线程安全的生产者消费者四种实现方法 问题描述 在IT技术面试过程中,我们经常会遇到生产者消费者问题(Producer-consumer problem), 这是多线程并发协作问题的经典案例。场景中包含三个对象,生产者(Producer),消费者(Consumer)以及一个固定大小的缓冲区(Buffer)。生产者的主要作用是不断生成数据放到缓冲区,消费者则从缓冲区不断消耗数据。该问题的关键是如何线程安全的操作共享数据块,保证生产者线... 阅读详情
/*
 * @author lihong
 * @date 2016年1月1日 下午5:20:02
 * @version v1.0
 */
package com.lihong.DDPush;

import java.util.LinkedList;
import java.util.List;
import java.util.concurrent.atomic.AtomicReferenceFieldUpdater;

/**
 * 生产者只有一个,消费者有多个,每次消费者都会把整个老队列拿走,新建一个队列替换老的队列,
 * 以便生产者生产的数据可以继续存储下来。  但要保证,生产者生产的数据不能被重复消费。 一个
 * 消费线程消费了,就不能被另一个消费线程消费了
 *
 * @author lihong 2016年1月1日 下午5:20:02
 * @version v1.0
 */
public class Cache {
    private static final Cache INSTANCE = new Cache();
    private volatile List<User> queue = new LinkedList<User>();

//    没必要用AtomicReferenceFieldUpdater,  可以使用AtomicReference就好了
    private static final AtomicReferenceFieldUpdater queueUpdater =
            AtomicReferenceFieldUpdater.newUpdater(Cache.class, List.class, "queue");

    private List<User> getQueue() {
        return queue;
    }

    //唯一的生产者调用该方法
    public static void produce(User user) {
        INSTANCE.getQueue().add(user);
    }

    //多个消费者的调用该方法
    public static List<User> consume() {

//  volatile保证可见性后,但如果某几个消费线程是在同一瞬间调用重置队列方法,
//  结果很可能拿到了同一个老队列的引用,造成重复消费。使用CAS(compareAndSet),目的是不用锁,又能避免重复消费。
        List<User> oldQueue = INSTANCE.getQueue();
        List<User> newQueue = new LinkedList<User>();
        while (!queueUpdater.compareAndSet(INSTANCE, oldQueue, newQueue)) {
            oldQueue = INSTANCE.getQueue();
        }
        return oldQueue;
    }

    public class User {
    }
}

消费者组 原理与代码实例讲解 以下是对《消费者组 原理与代码实例讲解》的详细解读: 消费者组 原理与代码实例讲解 1.背景介绍 1.1 消息队列的作用 在分布式系统中,应用程序的不同组件通常分布在不同的服务器上。为了实现有效的通信和协作,需要一种可靠的消息传递机 阅读详情

相关推荐

tcllib2.0 package - csv

tcl lib 的csv库

shin 861

synchronized

synchronized

qq_41490913的博客 342

基于Xilinx的I2S Receiver IP核和I2S Transmitter IP核音频验证

基于Xilinx的I2S Receiver IP核和I2S Transmitter IP核音频验证 文章目录前言一、工程构架二、Xilinx IP的配置1.I2S Transmitter IP配置:2.I2S Receiver IP配置:3.WM8960的配置:总结 前言 本实验基于Xilinx ZU4EV平台,也适用于ZYNQ平台。音频验证完成,记录调过程。 ①Xilinx 音频IP只支持主模式,左对齐或右对齐方式,16bit或24bit字长。 ②WM8960器件作为从模式;24bit字长;数据传输格

weixin_45637597的博客 6816

一个可以重用的线程安全生产者消费者队列类

生产者、消费者队列的代码和文档和例子,优快云或别的网站上已经有很多了,我就不再多说了。不过一般的文档中给出的例子往往只是“例子”,要用于实际的项目开发中差的很远,共享一下我以前写的一个线程安全的生产者消费者队列类。具有如下特点: 1.可以设置队列中的最大长度;         2.线程安全;        3.多线程想向队列中放入数据时,可设置等待队列有空位的超时时间,当有空位时,等待线程

fishjam的专栏 2184

从Simulink到Amesim:一份FMU联合仿真的避坑指南(含UDP通讯完整配置)

本文详细解析了从Simulink到Amesim的FMU联合仿真全流程,重点介绍了UDP通讯配置中的常见陷阱与解决方案。通过实战案例,帮助工程师规避编译器不兼容、步长设置冲突等典型问题,提升复杂系统仿真的效率与准确性。

weixin_34046298的博客 338

【ARM CoreLink 系列 4.2 -- NI-700 Function units 详细介绍】

CoreLink NI-700的ASNI(AXI系统网络接口)完成者单元负责接收并处理来自AXI请求者设备的请求。这些单元将事务打包成根据NI-700通用传输(GT)协议的Flits,并将GT响应Flits解包成AXI响应。AXI与GT协议之间的请求、数据和响应事务的转换:确保AXI事务可以被NI-700网络正确处理,并将GT协议的响应正确转换回AXI响应。入站事务的突发拆分。

CodingCos的博客 1325

多线程安全--生产者和消费者

    在多线程安全中,使用较多的例子是生产者和消费者模型。    在这个模型中,生产者和消费者是两个独立的线程,但是他们操作的资源的共享的,生产者生产产品,消费者消费产品。假设资源用一个对象来抽象,该对象的set()和out()方法对应生产和消费,那么为了保证多线程安全,每次只能有一个生产者线程生产产品,即只有一个生产者线程可以调用set()函数,同样,每次只能有一个消费者消费产品,即只有一个消...

upupday19的博客 619

【系统分析师】2025年下半年真题:论文及解题思路

摘要 本文探讨软件测试技术的应用,重点关注静态测试与动态测试的比较。静态测试在不运行程序的情况下,通过审查、走查等方式分析需求、设计文档和代码,能早期发现高层次缺陷,降低修复成本。动态测试通过实际运行程序,使用单元测试、集成测试等方法验证功能性能,是发现运行时错误的唯一途径。二者在缺陷类型、介入阶段和修复成本上具有互补性,建议项目实践中结合使用以提升软件质量。

数据知道的博客 5791

线程安全的消息排队机制和生产者消费者模型

1.线程安全的消息排队机制 该例子演示ACE Condition包装和ACE Mutex包装的使用。代码从Message_Queue类中摘录,该类包含在Task类中。Message_Queue可被同步策略类型参数化,以获取所期望的并发控制级。缺省地,并发控制级是“线程安全”,如ACE Synch.h文件中的MT_Synch类所定义的: class MT_Synch { pu

晴天的专栏 1819

Python全栈项目--手机语音远程控制智能家居系统(含嵌入式控制)

摘要:本项目实现了一个基于Python全栈的智能家居语音控制系统,支持手机端语音指令控制家居设备。系统采用FastAPI后端+Vue3前端的架构,集成Web Speech API实现语音识别,通过嵌入式设备(如ESP32)执行硬件控制。功能包括用户认证、设备管理、场景联动、指令解析和日志记录,支持HTTP轮询和直推两种命令下发模式。项目涵盖物联网全链路开发,适用于课程设计或毕业设计原型开发。

exlink2012的专栏 886

以太网_RGMII接口与GMII接口的转化_03

RGMII接口转GMII接口!

weixin_42499230的博客 380

云原生中间件RocketMQ-消费者消费模式之广播模式、偏移量offset解析

msgId一定是全局唯一标识符,但是实际使用中,可能会存在相同的消息有两个不同msgId的情况(消费者主动重发、因客户端重投机制导致的重复等),这种情况就需要使业务字段进行重复消费。: 当使用广播消费模式时, 消息队列 RocketMQ 会将每条消息推送给集群内所有注册过的客户端, 保证消息至少被每台机器消费一次。相比于集群模式,广播模式的特点为: 每个消费者都会消费所订阅的Topic + Tag下的所有queue中的所有消息。在广播模式下,RocketMQ 可以保证至少被每台机器消费一次。

write less , do more 1万+

Cesium圆形波纹/雷达扩散效果扩展类CircleWaveMaterialProperty

本文是基于原创内容进行部分修改,原文出处:https://blog.youkuaiyun.com/chudage11/article/details/101632482 SuperMapCesium支持该类似扩展类,以下是原生Cesium调用扩展类CircleWaveMaterialProperty说明 1.扩展类CircleWaveMaterialProperty.js import*asCesiumfrom'cesium' varCircleWaveMaterial={ Circl...

一碗老面的博客 3001

RocketMQ - 消费者组与订阅关系:消费机制入门

RocketMQ消费者组与订阅关系解析 本文深入探讨了Apache RocketMQ的核心消费机制,重点解析了消费者组(Consumer Group)和订阅关系(Subscription Relationship)两大概念。主要内容包括: 消费者组的作用:定义消费身份、决定消费模型(集群/广播)、实现负载均衡和业务隔离 订阅关系的构成:包含Topic名称和Tag表达式,强调同一消费者组必须保持订阅一致 两种消费模式: 集群消费(默认):组内实例分摊消息,实现负载均衡 广播消费:组内每个实例接收全量消息 实践

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

多线程:生产者消费者模型,心得笔记

题目 假设本地有一个文件夹,文件夹下面有若干文件(文件数大于50小于100),文件的存储格式是文本格式(后缀名是.txt),文件的大小每个文件不会超过100k 文件格式如下: 2000102,100,98.3 2000103,101,73.3 2000104,102,98.3 2000105,100,101.3 2000106,101,45.3…… 文件格式说明:文件每行都由三列构成,第一列是一个...

qq1032350287的博客 655

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Kafka 重启消费者后,从分区的哪里开始重新消费(队列头?队列尾?上一次消费位置?),auto.offset.reset

这篇文章不错,先看这篇https://blog.youkuaiyun.com/lishuangzhe7047/article/details/74530417 看文章时注意一些关系: CURRENT-OFFSET这个表示消费者消费了数据之后提交的offset,即消费者消费了的数据的偏移量。如果为unknown,则表示消费者未提交过offset。 LOG-END-OFFSET这个应该表示的是该分...

祁东握力的博客 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

disruptor(一) 单一生产者和WorkPool消费者源码阅读

 最近项目中有用到disruptor,提供一个类似队列或者数据容器的功能,并发能力很强   概念: Sequence:就是一个增长序列,类似oracle的增长序列,生产和消费程序都有Sequence,记录生产和消费程序的序列 Sequencer: 多个概念的一个组合,持有Sequence,等待策略等一些引用,生产者引用 SequenceBarrier:直接翻译就是序列屏障,就是Seq...

abc123maxiaolong的专栏 751

生产者消费者模型——blocking queue和CountDownLaunch

BlockingQueue接口定义了一种阻塞的FIFO queue,每一个BlockingQueue都有一个容量,让容量满时往BlockingQueue中添加数据时会造成阻塞,当容量为空时取元素操作会阻塞。  ArrayBlockingQueue和LinkedBlockingQueue ArrayBlockingQueue是一个由数组支持的有界阻塞队列。在读写操作上都需要锁

jingsuwen1的博客 2996

Java学习笔记(四)- 手写循环队列,实现多生产者单消费者

学习的最好方式就是写出来 今天我们就手撸一个循环队列吧,多生产者,单消费者模式,模拟队列满了之后的场景 这里先说明下循环队列的实现原理 队列长度固定,队列有头部指针(front)、尾部指针(rear)两个指针 每插入一个元素,尾部指针前移一位 每取出一个元素,头部指针前移一位 队列满了之后,取出一个元素,再加入一个元素,尾部指针归零 取元素的个数达到队列最大长度之后,头部指针归零 ​ 1、下面上代码实操,先来个接口类 package co.

weixin_51393513的博客 661

springcloud rocketmq 新增的消费者组从哪里开始消费

新增消费者组的时候,消费进度从何处开始消费,问题记录下

GDUT_xin的博客 1033

【消息中间件】--- RocketMQ消费者简介(集群、广播消费,推模式,拉模式)

本文对应源码地址:https://github.com/nieandsun/rocketmq-study rocketmq官网:https://rocketmq.apache.org/docs/quick-start/ rocketmq github托管地址(这里直接给出的是中文docs地址):https://github.com/apache/rocketmq/tree/master/docs/cn 文章目录1 1 ...

nrsc 3947

java scheduled手动执行_java – 手动触发@Scheduled方法

如果工作队列中没有项目,那么@Scheduled方法就没有任何工作要做,也就是说,如果没有人在执行周期之间将任何工作放入队列中.同样,如果在计划执行完成后立即将某个工作项插入工作队列(可能是外部源),则在下次执行之前不会处理该工作.在这种情况下,您需要的是消费者 – 生产者队列.一个或多个生产者放入工作项和消费者的队列将项目从队列中取出并处理它们.你想要的是BlockingQueue.它们可以用于...

weixin_29962473的博客 3572

励精图治---Concurrency---利用线程安全类来构建

委托是创建线程安全模块最有效的策略。 注意几个要点: 1. 利用委托来确保线程安全----新建一个类,调用非线程安全类的接口,在新建类中完善同步 2. 注意同步时加锁的对象。不可弄错了同步对象 3. 利用clone,将对象复制出来后,修改这个副本,修改完成后,重定向。(这可能伴随着开销问题)         在clone过程中也要加锁。 4. 要注意多线程操作时,不能存在持有锁

王学明 579

RabbitMQ之消费者的消息模式2(消费端限流,消息重回队列,TTL消息,死信队列)

文章目录前言消费端限流消息重回队列TTL消息 前言 本章的内容主要是针对于消费者来说的, 在上章的内容都是针对于生产者与broker的两点来讲的: 总结回顾下: 1、ConfirmListener监听(消息确认:需要开启 channel.confirmSelect();消息投递模式) 2、addReturnListener监听(失败返回信息:不需要开启什么,不过需要写逻辑代码) 消费端限流 ...

尽力漂亮的博客 436

pulsar消息系列(producer生产者发送,consume消费者消费)

pulsar两种消息发送策略,同步发送与异步发送 生产者producer 同步发送模式 楼主创建的producer数据类型是 { this.producer = client.newProducer(Schema.BYTES) } 同步发送 MessageId messageId = producer.send( str1.getBytes() ); 异步发送 方式一,只管发 Completabl...

weixin_43832846的博客 7021

大数据-消息队列-Kafka(七):Consumer(消费者)

不足之处是,如果kafka没有数据,消费者可能会陷入循环中,一直返回空数据。针对这一点,Kafka的消费者在消费数据时会传入一个时长参数timeout,如果当前没有数据可供消费,consumer会等待一段时间之后再返回,这段时长即为timeout。如果服务器端一批次的数据大于该值(50m)仍然可以拉取回来这批数据,因此,这不是一个绝对最大值。它的目标是尽可能以最快速度传递消息,但是这样很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。消费者处理消息的最大时长,默认是5分钟。

u013250861的博客 391
上一篇: netty-Netty中pipeline设计模式的一个高仿示例
下一篇: Java Thread.interrupt 复习
lhever_
博客等级 码龄14年 213粉丝 130原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值