BlockingQueue 生产者-消费者

本文介绍了如何使用Java中的BlockingQueue实现多线程环境下的生产消费模式,通过创建Fetcher和Indexer类分别代表生产者和消费者,并使用ArrayBlockingQueue作为队列,展示了线程之间的同步和等待机制。
本例介绍一个特殊的队列:BlockingQueue,如果BlockingQueue是空的,从BlockingQueue取东西的操作将会被阻断进入等待状态,直到BlockingQueue进了东西才会被唤醒,同样,如果BlockingQueue是满的,任何试图往里存东西的操作也会被阻断进入等待状态,直到BlockingQueue里有空间时才会被唤醒继续操作。
本例再次实现前面介绍的篮子程序,不过这个篮子中最多能放得苹果数不是1,可以随意指定。当篮子满时,生产者进入等待状态,当篮子空时,消费者等待。

BlockingQueue定义的常用方法如下:
add(anObject):把anObject加到BlockingQueue里,如果BlockingQueue可以容纳,则返回true,否则抛出异常。
offer(anObject):表示如果可能的话,将anObject加到BlockingQueue里,即如果BlockingQueue可以容纳,则返回true,否则返回false。
put(anObject):把anObject加到BlockingQueue里,如果BlockingQueue没有空间,则调用此方法的线程被阻断直到BlockingQueue里有空间再继续。
poll(time):取走BlockingQueue里排在首位的对象,若不能立即取出,则可以等time参数规定的时间,取不到时返回null。
take():取走BlockingQueue里排在首位的对象,若BlockingQueue为空,阻断进入等待状态直到BlockingQueue有新的对象被加入为止。

BlockingQueue有四个具体的实现类,根据不同需求,选择不同的实现类:
ArrayBlockingQueue:规定大小的BlockingQueue,其构造函数必须带一个int参数来指明其大小。其所含的对象是以FIFO(先入先出)顺序排序的。
LinkedBlockingQueue:大小不定的BlockingQueue,若其构造函数带一个规定大小的参数,生成的BlockingQueue有大小限制,若不带大小参数,所生成的BlockingQueue的大小由Integer.MAX_VALUE来决定。其所含的对象是以FIFO顺序排序的。
PriorityBlockingQueue:类似于LinkedBlockingQueue,但其所含对象的排序不是FIFO,而是依据对象的自然排序顺序或者是构造函数所带的Comparator决定的顺序。
SynchronousQueue:特殊的BlockingQueue,对其的操作必须是放和取交替完成的。

LinkedBlockingQueue和ArrayBlockingQueue比较起来,它们背后所用的数据结构不一样,导致LinkedBlockingQueue的数据吞吐量要大于ArrayBlockingQueue,但在线程数量很大时其性能的可预见性低于ArrayBlockingQueue。

Java代码 收藏代码
  1. <spanstyle="font-size:small;">packagecom.yoyosys.smartstorage.consumer;
  2. importjava.util.concurrent.BlockingQueue;
  3. /**
  4. *to-do.
  5. *
  6. *@authorDenghaiping
  7. *@version1.0
  8. */
  9. publicclassFetcherimplementsRunnable
  10. {
  11. @SuppressWarnings("unused")
  12. privateBlockingQueue<String>queue=null;
  13. publicFetcher(BlockingQueue<String>queue)
  14. {
  15. this.queue=queue;
  16. }
  17. publicvoidrun()
  18. {
  19. try{
  20. while(true){
  21. queue.put("segment-name-"+i);
  22. System.out.println("ThreadName:"+Thread.currentThread().getName()+"抓取完成");
  23. }
  24. }catch(InterruptedExceptionex){
  25. ex.printStackTrace();
  26. }
  27. }
  28. }
  29. </span>

Java代码 收藏代码
  1. <spanstyle="font-size:small;">*/
  2. packagecom.yoyosys.smartstorage.consumer;
  3. importjava.util.concurrent.ArrayBlockingQueue;
  4. importjava.util.concurrent.BlockingQueue;
  5. /**
  6. *to-do.
  7. *
  8. *@authorDenghaiping
  9. *@version1.0
  10. */
  11. publicclassIndexerimplementsRunnable
  12. {
  13. privateBlockingQueue<String>queue;
  14. publicIndexer(BlockingQueue<String>queue)
  15. {
  16. this.queue=queue;
  17. }
  18. publicvoidrun()
  19. {
  20. try{
  21. while(true){
  22. Thread.sleep(1000);
  23. Stringname=queue.take();
  24. System.out.println("ThreadName:"+Thread.currentThread().getName()+"索引创建完成"+name);
  25. }
  26. }catch(InterruptedExceptionex){
  27. ex.printStackTrace();
  28. }
  29. }
  30. }
  31. </span>

Java代码 收藏代码
  1. <spanstyle="font-size:small;">packagecom.yoyosys.smartstorage.consumer;
  2. importjava.util.concurrent.*;
  3. /**
  4. *to-do.
  5. *
  6. *@authorDenghaiping
  7. *@version1.0
  8. */
  9. publicclassTestConsumer
  10. {
  11. privatestaticBlockingQueue<String>queue=newArrayBlockingQueue<String>(10);
  12. publicstaticvoidmain(String[]args)
  13. {
  14. ExecutorServiceservice=Executors.newCachedThreadPool();
  15. Fetcherproducer=newFetcher(queue);
  16. Indexerconsumer=newIndexer(queue);
  17. Indexerconsumer1=newIndexer(queue);
  18. service.submit(producer);
  19. service.submit(consumer);
  20. service.submit(consumer1);
  21. //程序运行5s后,所有任务停止
  22. try{
  23. Thread.sleep(5000);
  24. }catch(InterruptedExceptione){
  25. e.printStackTrace();
  26. }
  27. //service.shutdownNow();
  28. }
  29. }
  30. </span>


<think>好的,用户的问题是关于在使用BlockingQueue实现生产者-消费者模式时,如何处理关机重启后队列数据的保存恢复。我需要结合之前的回答和用户提供的引用内容来给出解决方案。 首先,用户之前已经得到了一个系统化的方案,涉及双写机制、消费确认、持久化方案等。现在用户进一步询问,可能需要更具体的实现细节或实际场景中的应用考虑。 用户提供的引用中,[1]提到了LinkedBlockingQueue的内部结构和并发处理机制,这可能会影响持久化的实现方式,比如独立锁可能需要在持久化时考虑线程安全。[2]中的日志记录和中介者模式可能相关于持久化的日志追踪和策略应用。[3]提到游戏服务器中的缓存和持久化需求,强调了异步写入和异常处理的重要性,这可能对数据恢复策略有参考价值。 需要确定用户关注的重点是真实场景中的数据持久化,特别是在关机重启后的处理。用户可能希望了解具体的步骤、技术选型以及如何平衡性能数据安全。 结合之前的回答,应该再次强调双写机制和消费确认的重要性,并可能补充引用中的日志记录和异步处理。比如,使用LinkedBlockingQueue时,生产者写入队列的同时写入文件或数据库,消费者处理完数据后标记状态。在恢复时,重新加载未处理的数据到队列中,并处理可能的重复数据。 还要考虑用户提到的引用内容中的历史记录追踪和中介者模式,可能需要将日志记录持久化结合,确保每一步操作都有记录,便于恢复时验证数据完整性。例如,引用[2]中的communicationLog可以用于追踪生产者消费者的操作,帮助恢复数据时排查问题。 此外,引用[3]中的游戏服务器案例提示了缓存数据库的协作,可能需要在持久化方案中加入异步批量写入,减少数据库压力,同时确保数据最终一致。例如,使用定期刷盘或批量提交的策略,兼顾性能和数据安全。 最后,用户可能关心实际应用中可能遇到的问题,如性能瓶颈、数据去重、故障恢复等。需要结合引用中的策略模式、加密解密、集群方案等,给出应对措施,比如使用异步消息队列提升性能,或者ZooKeeper实现主节点选举,避免单点故障。 总结来说,回答需要整合之前的方案和用户提供的引用内容,强调实际应用中的关键点,如持久化方法的选择、数据恢复流程、异常处理机制,以及如何利用日志和异步策略优化性能和数据安全。</think>在真实场景中使用BlockingQueue实现生产者-消费者模式时,数据持久化恢复需要结合具体业务场景采用分级策略。以下是基于工业级实践的完整解决方案(参考了[^1][^3]的队列实现原理持久化需求): ### 一、数据生命周期管理框架 ![数据持久化流程图](https://via.placeholder.com/600x200?text=Producer->Queue->Persistent+Layer->Consumer) ```java // 核心状态流转(参考[^1]的双锁设计) enum DataState { PENDING, // 队列中未消费 PROCESSING, // 消费者正在处理 COMMITTED, // 已确认处理完成 ARCHIVED // 已归档可删除 } ``` ### 二、混合持久化实现 #### 方案1:内存+WAL日志(金融级场景) ```java // 基于[^1]的LinkedBlockingQueue扩展 public class PersistentBlockingQueue<E> extends LinkedBlockingQueue<E> { private final WriteAheadLog wal; // 预写日志组件 @Override public void put(E e) throws InterruptedException { wal.append(e); // 先写日志[^2] super.put(e); // 再入内存队列 } public void rebuildFromWal() { wal.readRecords().forEach(super::offer); } } ``` *关键技术指标*(参考[^3]游戏服务器场景): - WAL批量提交间隔:50-200ms - 最大未提交批次:1000条 - 异常恢复时间:<2秒(百万级数据) #### 方案2:分层存储架构(电商秒杀场景) ```java // 三级存储结构(内存队列+Redis+MySQL) public class TieredStorageQueue { private BlockingQueue<String> memoryQueue = new LinkedBlockingQueue<>(10000); private RedisTemplate<String, String> redis; private JdbcTemplate jdbc; public void produce(String data) { if (!memoryQueue.offer(data)) { redis.opsForList().rightPush("backup_queue", data); // 降级存储[^3] } jdbc.update("INSERT INTO biz_queue(data) VALUES(?)", data); // 最终持久化 } } ``` ### 三、故障恢复标准流程 1. **冷启动阶段** ```mermaid sequenceDiagram 启动程序->>+持久化层: 加载未完成数据 持久化层->>+内存队列: 注入PENDING状态数据 内存队列->>+消费者: 重新开始消费 消费者->>持久化层: 提交处理完成确认 ``` 2. **数据一致性验证** ```java // 基于[^2]的通信日志审计 void verifyConsistency() { long queueSize = memoryQueue.size(); long dbCount = jdbc.queryForObject( "SELECT COUNT(*) FROM queue WHERE status='PENDING'", Long.class); if (queueSize != dbCount) { throw new DataInconsistencyException(queueSize, dbCount); } } ``` ### 四、生产环境优化策略 1. **增量检查点**(参考[^3]游戏存档机制) ```java ScheduledExecutorService checkpointScheduler = Executors.newScheduledThreadPool(1); checkpointScheduler.scheduleWithFixedDelay(() -> { persistDelta(queue.drainTo(tempList)); // 仅持久化增量变化 }, 5, 5, TimeUnit.MINUTES); ``` 2. **压缩存储优化** ```java // 使用列式压缩存储(Parquet格式) public void persistToParquet(List<Data> batch) { try (ParquetWriter<Data> writer = AvroParquetWriter .<Data>builder(new Path("queue.parquet")) .withCompressionCodec(CompressionCodecName.SNAPPY) .build()) { batch.forEach(writer::write); } } ``` ### 五、异常场景处理 | 故障类型 | 处理方案 | 技术实现 | |---------|--------|---------| | 断电宕机 | WAL重放 | 解析最后未提交的日志文件 | | 数据损坏 | 冗余校验 | CRC32校验+三副本存储 | | 重复消费 | 幂等设计 | Redis原子操作+唯一ID | | 版本升级 | 兼容迁移 | Avro Schema演进规则 |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值