利用QUEUE设计线程池

本文介绍在应用中利用Queue数据结构实现简单的Thread缓冲池,包括Queue的循环数组实现、线程安全处理,借助Java的synchronized、Object的wait()和notify()方法。还说明了用Runnable表现任务,实现工作线程,最后给出使用示例,可在此基础添加异常处理等功能。

在应用中,我们常常需要Thread缓冲池以提高程序的效率和并发性。本文演示了利用Queue这种数据结构实现一个简单的Thread缓冲池。

Thread缓冲池可以设计成以下这样:

缓冲池由几个工作Thread和一个Queue组成,Client负责把任务放到Queue里面(put方法),而工作Thread就依次取出这些任务并执行它们(get方法)。

Queue的一个经典实现是使用一个循环数组,如一个大小为size的数组,这个循环数组可以被想象成首尾相连的一个环。oldest指向Queue中最老的数据所在的位置,next指向下一个可以放新数据的位置。

放入一个新数据到next的位置后,需要更新nextnext = (next + 1) % size;

oldest位置取出一个数据后,需要更新oldestoldest = (oldest + 1) % size;

oldest == next的时候,Queue为空,

(next + 1) % size == oldest的时候,Queue为满。

因为这个Queue会同时被多个线程访问,需要考虑在这种情况下Queue如何工作。首先,Queue需要是线程安全的,可以用Java里的synchronized关键字来确保同时只有一个Thread在访问Queue.

我们还可以注意到当Queue为空的时候,get操作是无法进行的;当Queue为满的时候,put操作又是无法进行的。在多线程访问遇到这种情况时,一般希望执行操作的线程可以等待(block)直到该操作可以进行下去。比如,但一个Thread在一个空Queue上执行get方法的时候,这个 Thread应当等待(block),直到另外的Thread执行该Queueput方法后,再继续执行下去。在Java里面,Object对象的 wait(),notify()方法提供了这样的功能。

把上面的内容结合起来,就是一个SyncQueue的类:

public class SyncQueue {

public SyncQueue(int size) {

_array = new Object[size];

_size = size;

_oldest = 0;

_next = 0;

}

public synchronized void put(Object o) {

while (full()) {

try {

wait();

} catch (InterruptedException ex) {

throw new ExceptionAdapter(ex);

}

}

_array[_next] = o;

_next = (_next + 1) % _size;

notify();

}

public synchronized Object get() {

while (empty()) {

try {

wait();

} catch (InterruptedException ex) {

throw new ExceptionAdapter(ex);

}

}

Object ret = _array[_oldest];

_oldest = (_oldest + 1) % _size;

notify();

return ret;

}

protected boolean empty() {

return _next == _oldest;

}

protected boolean full() {

return (_next + 1) % _size == _oldest;

}

protected Object [] _array;

protected int _next;

protected int _oldest;

protected int _size;

}

可以注意一下getput方法中while的使用,如果换成if是会有问题的。这是个很容易犯的错误。;-)

在以上代码中使用了ExceptionAdapter这个类,它的作用是把一个checked Exception包装成RuntimeException。详细的说明可以参考我的避免在Java中使用Checked Exception一文。

接下来我们需要一个对象来表现Thread缓冲池所要执行的任务。可以发现JDK中的Runnable interface非常合适这个角色。

最后,剩下工作线程的实现就很简单了:从SyncQueue里取出一个Runnable对象并执行它。

public class Worker implements Runnable {

public Worker(SyncQueue queue) {

_queue = queue;

}

public void run() {

while (true) {

Runnable task = (Runnable) _queue.get();

task.run();

}

}

protected SyncQueue _queue = null;

}

下面是一个使用这个Thread缓冲池的例子:

//构造Thread缓冲池

SyncQueue queue = new SyncQueue(10);

for (int i = 0; i < 5; i ++) {

new Thread(new Worker(queue)).start();

}

//使用Thread缓冲池

Runnable task = new MyTask();

queue.put(task);

为了使本文中的代码尽可能简单,这个Thread缓冲池的实现是一个基本的框架。当使用到实际中时,一些其他功能也可以在这一基础上添加,比如异常处理,动态调整缓冲池大小等等。

 

线程池设计的核心目标是通过复用线程来减少线程创建和销毁的开销,提高系统的性能和资源利用率。以下是线程池设计的方法和思路: ### 设计思路 - **任务队列**:线程池需要一个任务队列来存储待执行的任务。当有新任务提交时,将任务放入队列中,线程池中的线程会从队列中取出任务并执行。这样可以实现任务的缓冲,避免任务过多导致系统资源耗尽。 - **线程管理**:线程池需要管理一组线程,包括线程的创建、销毁和复用。在初始化线程池时,会创建一定数量的线程,这些线程会不断地从任务队列中获取任务并执行。当任务队列为空时,线程会进入等待状态;当有新任务加入时,线程会被唤醒。 - **线程安全**:由于多个线程会同时访问任务队列,因此需要保证任务队列的线程安全性。可以使用锁机制(如互斥锁)来确保同一时间只有一个线程可以访问任务队列。 - **资源控制**:线程池需要控制线程的数量,避免创建过多的线程导致系统资源耗尽。可以设置线程池的最大线程数和最小线程数,根据任务的数量动态调整线程的数量。 ### 设计方法 以下是一个简单的 Python 线程池实现示例: ```python import queue import threading class ThreadPool: def __init__(self, num_threads): self.task_queue = queue.Queue() self.threads = [] self._stop_event = threading.Event() # 创建线程 for _ in range(num_threads): thread = threading.Thread(target=self._worker) thread.start() self.threads.append(thread) def _worker(self): while not self._stop_event.is_set(): try: # 从任务队列中获取任务 task = self.task_queue.get(timeout=1) task() self.task_queue.task_done() except queue.Empty: continue def add_task(self, task): # 向任务队列中添加任务 self.task_queue.put(task) def shutdown(self): # 停止线程池 self._stop_event.set() for thread in self.threads: thread.join() # 使用示例 def example_task(): print("Executing task...") pool = ThreadPool(3) for _ in range(5): pool.add_task(example_task) pool.shutdown() ``` 在上述代码中,`ThreadPool` 类实现了一个简单的线程池。`__init__` 方法初始化线程池,创建指定数量的线程并启动它们。`_worker` 方法是线程的工作函数,会不断地从任务队列中获取任务并执行。`add_task` 方法用于向任务队列中添加任务,`shutdown` 方法用于停止线程池
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值