Python网络编程之线程队列(queue)

Python3.5中，队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块，虽然简单易用，但是不小心的话，还是会出现一些意外。

一、Queue介绍

1. 创建一个“队列”对象

import queue
q = queue.queue( maxsize=10)

queue.queue 类即是一个队列的同步实现。队列长度可为无限或者有限。可通过 queue 的构造函数的可选参数 maxsize 来设定队列长度。如果 maxsize 小于 1 就表示队列长度无限。

2. 将一个值放入队列中

q.put( 10)

调用队列对象的 put() 方法在队尾插入一个项目。
put( item, block=1) 有两个参数：

• 第一个 item 为必需的，为插入项目的值；
• 第二个 block 为可选参数，默认为 1。

如果队列当前为空且 block为 1，put() 方法就使调用线程暂停，直到空出一个数据单元。
如果 block 为 0，put 方法将引发 Full 异常。

3. 将一个值从队列中取出

q.get( timeout=5)

调用队列对象的 get() 方法从队头删除并返回一个项目。
可选参数为 block，默认为 True。
如果队列为空且 block 为 True，get() 就使调用线程暂停，直至有项目可用。
如果队列为空且 block 为 False ，队列将引发 Empty 异常。

4. Python queue模块有三种队列及构造函数:

# Python queue模块的FIFO队列先进先出。
class queue.queue( maxsize)

#LIFO类似于堆，即先进后出。
class queue.Lifoqueue( maxsize)

#还有一种是优先级队列级别越低越先出来
class queue.Priorityqueue( maxsize)

5. 此包中的常用方法( q =queue.queue()):

• q.qsize() 返回队列的大小；
• q.empty() 如果队列为空，返回 True ，反之 False；
• q.full() 如果队列满了，返回 True ,反之 False；
• q.full 与 maxsize 大小对应；
• q.get( [block[, timeout]]) 获取队列，timeout 等待时间；
• q.get_nowait() 相当 q.get( False)；
• 非阻塞 q.put( item) 写入队列，timeout 等待时间；
• q.put_nowait( item) 相当 q.put( item, False)；
• q.task_done() 在完成一项工作之后，q.task_done() 函数向任务已经完成的队列发送一个信号；
• q.join() 实际上意味着等到队列为空，再执行别的操作。

二、网络队列

1. 启动队列服务

# ./queued.py
#!/usr/bin/python
# -*- coding: utf-8 -*-  

import sys, os, random, time
import queue
from multiprocessing.managers import BaseManager

task_queue= queue.Queue()

class QueueManager( BaseManager):
    pass

if __name__ == '__main__':
	# 将Queue注册到网络上,callable参数关联了Queue对象
    QueueManager.register( "task_queue", callable=lambda:task_queue)
    # 注意 authkey=b'task' 网络编码：一定要 bytes 对象
    manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
    manager.start()
	manager.join()

启动队列服务：

nohup ./queued.py &

2. A机器发布

# ./a.py
#!/usr/bin/python
# -*- coding: utf-8 -*-  

import sys, os, random, time
import queue
from multiprocessing.managers import BaseManager

class QueueManager( BaseManager):
    pass

if __name__ == '__main__':
    # 将Queue注册到网络上,callable参数关联了Queue对象
    QueueManager.register( "task_queue")
    manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
    manager.connect()

    task_queue = manager.task_queue()
    while True:
        n = random.randint(0,1000)
        print('put task %d ...' % n)
        task_queue.put(n)
        time.sleep(1)

3. B机器订阅

# ./b.py
#!/usr/bin/python
# -*- coding: utf-8 -*-  

import sys, os, random
import queue
from multiprocessing.managers import BaseManager

class QueueManager( BaseManager):
    pass

if __name__ == '__main__':
    # 将Queue注册到网络上,callable参数关联了Queue对象
    QueueManager.register( "task_queue")

    manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
    manager.connect()

    task_queue = manager.task_queue()
    while True:
    	# 当 queue.Empty， get 会出现超时情况，需要做异常处理。
    	try:
        	n = task_queue.get( timeout=10)
        except Exception:
        	n = None
        print( "run task {}".format( n))
        if n is None :
            time.sleep( 5)
            print('sleep 5 s...')