Python多线程 Queue 模块

the_beginner

已于 2024-01-25 16:05:08 修改

阅读量672

点赞数 2

CC 4.0 BY-SA版权

分类专栏：多线程编程私人笔记文章标签： python 多线程

于 2021-07-03 20:19:04 首次发布

本文链接：https://blog.youkuaiyun.com/the_beginner/article/details/118442120

多线程编程私人笔记专栏收录该内容

9 篇文章

订阅专栏

Python的Queue模块提供了同步的、线程安全的队列类，包括FIFO（先入先出）队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，能够在多线程中直接使用，可以使用队列来实现线程间的同步。

Queue模块中的常用方法：

Queue.qsize()：返回队列的大小
Queue.empty()：如果队列为空，返回True,反之False
Queue.full()：如果队列满了，返回True,反之False
Queue.full 与 maxsize 大小对应
Queue.get([block[, timeout]])：获取队列，timeout等待时间
Queue.get_nowait()：相当Queue.get(False)
Queue.put(item)：写入队列，timeout等待时间
Queue.put_nowait(item)：相当Queue.put(item, False)
Queue.task_done()：在完成一项工作之后，Queue.task_done()函数向任务已经完成的队列发送一个信号
Queue.join()：实际上意味着等到队列为空，再执行别的操作

接下来，我们将通过一个简单的示例来演示如何使用Queue模块实现线程间的同步。在这个示例中，我们将创建两个线程，分别执行a()和b()函数。这两个函数将共享一个队列，用于在它们之间传递数据。

import threading
import time

def a():
    print("a start\n")
    for i in range(10):
        time.sleep(0.1)
    print("a finish\n")

def b():
    print("b start\n")
    print("b finish\n")

def main():
    # t=threading.Thread(target=a,name="T")
    t = threading.Thread(target=a)
    t2=threading.Thread(target=b)
    t.start()
    t2.start()
    # t2.join()
    # t.join()
    print("all done\n")

if __name__ == '__main__':
    main()

在这个示例中，我们首先导入了threading和time模块。然后，我们定义了两个函数a()和b()，它们分别打印一些信息并暂停一段时间。接下来，我们定义了一个main()函数，在这个函数中，我们创建了两个线程t和t2，分别执行a()和b()函数。最后，我们启动这两个线程，并等待它们完成。

现在，让我们来看一下如何使用Queue模块来实现线程间的同步。在这个示例中，我们将创建一个名为myThread的自定义线程类，它继承自threading.Thread类。在这个类中，我们将定义一个run()方法，这个方法将在线程启动时被调用。在run()方法中，我们将处理队列中的数据，并在完成后打印一条消息。

import queue
import threading
import time

exitFlag = 0

class myThread (threading.Thread):
    def __init__(self, threadID, name, q):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.q = q
    def run(self):
        print ("开启线程：" + self.name)
        process_data(self.name, self.q)
        print ("退出线程：" + self.name)

def process_data(threadName, q):
    while not exitFlag:
        queueLock.acquire()
        if not workQueue.empty():
            data = q.get()
            queueLock.release()
            print ("%s processing %s" % (threadName, data))
        else:
            queueLock.release()
        time.sleep(1)

threadList = ["Thread-1", "Thread-2", "Thread-3"]
nameList = ["One", "Two", "Three", "Four", "Five"]
queueLock = threading.Lock()
workQueue = queue.Queue(10)
threads = []
threadID = 1

# 创建新线程
for tName in threadList:
    thread = myThread(threadID, tName, workQueue)
    thread.start()
    threads.append(thread)
    threadID += 1

# 填充队列
queueLock.acquire()
for word in nameList:
    workQueue.put(word)
queueLock.release()

# 等待队列清空
while not workQueue.empty():
    pass

# 通知线程是时候退出
exitFlag = 1

# 等待所有线程完成
for t in threads:
    t.join()
print ("退出主线程")

在这个示例中，我们首先导入了所需的模块，然后定义了一个名为myThread的自定义线程类。在这个类中，我们定义了一个run()方法，这个方法将在线程启动时被调用。在run()方法中，我们将处理队列中的数据，并在完成后打印一条消息。

接下来，我们定义了一个名为process_data的辅助函数，它接受一个线程名和一个队列作为参数。在这个函数中，我们将循环处理队列中的数据，直到队列为空或退出标志被设置为1。在每次循环中，我们将尝试获取队列中的一个元素，并将其从队列中移除。然后，我们将打印一条消息，表示该线程正在处理该元素。最后，我们将释放队列锁，并让线程休眠1秒钟。

在主程序中，我们首先创建了一个名为threadList的列表，其中包含了我们想要创建的线程的名称。然后，我们创建了一个名为nameList的列表，其中包含了我们想要放入队列中的元素。接下来，我们创建了一个名为queueLock的锁对象，以及一个名为workQueue的队列对象。我们还创建了一个名为threads的空列表，用于存储我们创建的线程对象。然后，我们初始化了一个名为threadID的变量，用于给每个线程分配一个唯一的ID。

接下来，我们使用一个for循环来创建新的线程。在每次循环中，我们都会创建一个新的myThread对象，并将其添加到threads列表中。我们还将threadID递增1，以便为下一个线程分配一个唯一的ID。然后，我们使用start()方法启动每个线程。

在创建完所有线程后，我们将使用另一个for循环来填充队列。在每次循环中，我们都会从nameList中获取一个元素，并将其放入workQueue队列中。当队列已满时，我们将退出循环。

接下来，我们将等待队列清空。为此，我们将使用一个while循环，只要队列不为空，就继续循环。一旦队列为空，我们将退出循环。

最后，我们将设置退出标志为1，以通知所有线程退出。然后，我们将使用一个for循环来等待所有线程完成。在每次循环中，我们将调用每个线程的join()方法，这将阻塞当前线程，直到目标线程完成。当所有线程都完成时，我们将打印一条消息，表示主线程已经退出。