一种基于copy-on-write的多生产者消费者模型

本文介绍了一个消费即创建的设计模式,该模式使用智能指针、互斥锁和队列来实现线程安全的数据生产和消费。通过将生产和消费分离,并在消费前进行数据转移,有效地降低了锁的粒度。
#ifndef _CREATEONCOSUME
#define _CREATEONCOSUME
#include <vector>
#include <memory>
#include <mutex>
#include <queue>
using namespace std;

template<typename T>
class CreateOnConsume {
public:
	CreateOnConsume()
		: m_forProduce(make_shared<vector<T> >()) {};
	virtual void consumeEachVec(vector<T> &vec) = 0;
	void push(T &t) {
		lock_guard<mutex> lock(m_mtx);
		m_forProduce->push_back(t);
	};
	void consumeAll() {
		move2ForConsume();
		while (!m_forConsume.empty()) {
			auto &head = m_forConsume.front();
			consumeEachVec(*head);
			m_forConsume.pop();
		}
	};
	
protected:
	shared_ptr<vector<T> > m_forProduce;
	mutex m_mtx;
	queue<shared_ptr<vector<T> > > m_forConsume;//?
	void move2ForConsume() {
		lock_guard<mutex> lock(m_mtx);
		if (!m_forProduce->empty()) {
			m_forConsume.push(m_forProduce);
			m_forProduce = make_shared<vector<T> >();
		}
	};
};
#endif

子类只需要重载consumeEachVec即可。

生产过程的锁粒度很低,只是往std::vector push。

消费过程的锁只在move2ForCosume中作用。第一步判断生产用的vector是否为空,第二步搬运这个vector指针,第三步给生产者再创建一个vector。

Java并发包(java.util.concurrent)常用类及使用场景 1、locks包中的锁(如ReentrantLock等),提供更灵活的锁机制,替代 synchronized。 ● ReentrantLock 可重入锁,支持公平锁和非公平锁,可中断、可限时等待。 ● ReentrantReadWriteLock 读写分离锁,允许多个读线程同时访问,写线程独占资源。 ● StampedLock (Java 8+)支持乐观读锁,适用于读多写少场景,性能优于 ReentrantReadWriteLock。 ● Condition 替代 Object.wait()/notify(),实现更精细的线程等待/唤醒机制。 2、atomic包下的原子类:如AtomicInteger、AtomicLong、LongAdder等,原子类提供无锁线程安全操作,基于CAS(Compare and Swap)实现,适用于计数器、状态标志等场景。 3、提供了线程安全的集合类,支持高并发读写。 ● ConcurrentHashMap:使用节点锁的思想,即采用“CAS+synchronized”的机制来保证线程安全。 ● CopyOnWriteArrayList/CopyOnWriteArraySet:核心机制是写时复制(Copy-On-Write,简称 COW机制),读操作无锁,写操作复制新数组,适合读多写少的场景。 ● BlockingQueue(接口):实现类有ArrayBlockingQueue、LinkedBlockingQueue、PriorityBlockingQueue、SynchronousQueue。都是阻塞式队列,支持生产者-消费者模型。 ● ArrayBlockingQueue:基于数组的有界队列。 ● LinkedBlockingQueue:基于链表的无界队列(默认最大为 Integer.MAX_VALUE)。 ● PriorityBlockingQueue:支持优先级的无界队列。 ● SynchronousQueue:无缓冲队列,直接传递任务给消费者。 4、Executor线程池框架,管理线程的生命周期和任务调度。 ExecutorService(接口),实现有ThreadPoolExecutor、ScheduledThreadPoolExecutor,用于执行异步任务,支持定时/延迟任务。 Future/FutureTask,用于获取异步任务执行结果。 5、Executors线程池工具类,内部通过调用ThreadPoolExecutor构造函数来实现,通过该类提供的静态方法可以快速创建一些常用线程池。 ThreadPoolExecutor类是线程池类,可以通过ThreadPoolExecutor类手动创建线程池。 6、Fork/Join框架:是jdk7中新增的并行执行任务的框架,通过 递归任务拆分 和 工作窃取算法,充分利用多核处理器的计算能力。 ForkJoinPool是执行Fork/Join任务的线程池;ForkJoinTask是要执行的任务的基类,常用的有RecursiveAction(无返回值的任务)和RecursiveTask(有返回值的任务)。 7、CompletableFuture实现对多线程进行编排,CompletableFuture提供了非常强大的Future的扩展功能,可以帮助我们简化异步编程的复杂性,提供了函数式编程的能力。 8、AQS(AbstractQueuedSynchronizer抽象排队同步器)是用于构建锁和同步器的核心框架。几乎所有 Java 并发工具类(如 ReentrantLock、Semaphore、CountDownLatch 、CyclicBarrier 等)的底层实现都依赖于 AQS。它通过一个双向队列(CLH 变体)和状态变量,实现了线程的排队、阻塞与唤醒机制。 9、同步工具类(如Semaphore信号量、CountDownLatch(倒计时门闩)、CyclicBarrier循环屏障、Phaser(阶段器)、Exchanger(交换器)),协调多线程的执行顺序或状态。 ● Semaphore(信号量),用于控制资源访问并发数,可以用在限流等场景。 ● CountDownLatch(倒计时门闩)让主线程等待一组子线程完成任务(一次性)。用于并行任务完成后汇总结果(如多线程加载数据后启动系统)。 ● CyclicBarrier(循环屏障),用于一组线程相互等待,到达屏障后统一执行后续操作(可重复使用),例如分阶段数据处理后合并。 ● Phaser(阶段器):与CyclicBarrier类似,也是一种多线程同步工具,但是支持更灵活的栅栏操作,可以动态地注册和注销参与者,并可以控制各个参与者的到达和离开(复杂版CyclicBarrier)。 ● Exchanger(交换器):两个线程在特定点交换数据,例如生产者-消费者模式中的缓冲区交换。 生成思维导图
05-10
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值