Python线程编程—同步队列

最新推荐文章于 2025-06-04 15:46:43 发布

weixin_30477797

最新推荐文章于 2025-06-04 15:46:43 发布

阅读量59

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/oubo/archive/2011/09/16/2394588.html

本文介绍在Python中利用队列实现生产者/消费者模式，优化并发处理效率的方法。通过队列同步实现，有效解决缓冲区大小限制及线程间等待问题，提升程序响应速度。

我们经常会采用生产者/消费者关系的两个线程来处理一个共享缓冲区的数据。例如一个生产者线程接受用户数据放入一个共享缓冲区里，等待一个消费者线程对数据取出处理。但是如果缓冲区的太小而生产者和消费者两个异步线程的速度不同时，容易出现一个线程等待另一个情况。为了尽可能的缩短共享资源并以相同速度工作的各线程的等待时间，我们可以使用一个“队列”来提供额外的缓冲区。

创建一个“队列”对象

import Queue
myqueue = Queue.Queue(maxsize = 10)

Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

将一个值放入队列中

myqueue.put(10)

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

将一个值从队列中取出

myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为1。如果队列为空且block为1，get()就使调用线程暂停，直至有项目可用。如果block为0，队列将引发Empty异常。

我们用一个例子来展示如何使用Queue

#!/usr/bin/env python
import Queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com.hk", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):
"""Threaded Url Grab"""
def __init__(self, queue):
              threading.Thread.__init__(self)
              self.queue = queue

def run(self):
while True:
#grabs host from queue
                host = self.queue.get()     
#grabs urls of hosts and prints first 1024 bytes of page
                url = urllib2.urlopen(host)
print url.read(1024)        
#signals to queue job is done
                self.queue.task_done()

 start = time.time()
def main():
#spawn a pool of threads, and pass them queue instance 
     for i in range(5):
            t = ThreadUrl(queue)
            t.setDaemon(True)
            t.start()

#populate queue with data   
      for host in hosts:
            queue.put(host)
#wait on the queue until everything has been processed     
       queue.join()

main()
print "Elapsed Time: %s" % (time.time() - start)