对于python中的multiprocessing中的Process和queue通信的理解

最新推荐文章于 2025-07-03 00:14:24 发布

地球世界的观察者

最新推荐文章于 2025-07-03 00:14:24 发布

阅读量4.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python学习文章标签： python进程间通信

本文链接：https://blog.youkuaiyun.com/qq_34138155/article/details/81417203

Python学习专栏收录该内容

28 篇文章

订阅专栏

本文介绍了Python中多进程通信的一种方式——Queue。通过实例演示了如何使用Queue在多个进程中安全地传递数据，包括写入数据的put方法及读取数据的get方法，并解释了这些方法如何处理阻塞和超时。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

假如创建了大量的进程，那进程间的通信是必不可少的，Python中提供了进程间的通信的方式，例如Queue，Pipe，Value+Array等。Queue和Pipe这两种方式。Queue和Pipe的区别在于Pipe常用来在两个进程间通信，Queue用来在多个进程间实现通信。首先，Queue通信方式，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递，有两个方法：Put和Get可以进行Queue操作。

(1) Put方法用以插入数据到队列中，它还有两个可选参数：blocked 和timeout。如果blocked为True(默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。

(2)Get 方法可以从队列读取并且删除一个元素。同样，Get方法有两个可选参数：blocked和timeout。如果blocked为True(默认值），并且timeout为正值，那么在等待的时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False,分两种情况：如果Queue有一个值可用，则立即返回该值：否则如果队列为空，则立即抛出Queue.Empty异常。

#! usr/bin/python3.6
# -*- coding:utf-8 -*-
from multiprocessing import Process, Queue
import random, time, os
# 写数据进程执行的代码
def proc_write(q, urls):
    print("Process %s is writing..." %os.getpid())
    for url in urls:
        q.put(url)
        print("Put %s to queue..." %url)
        time.sleep(random.random())

# 读数据进程执行的代码
def proc_read(q):
    print("Process %s is reading...." % os.getpid())
    while True:
        url = q.get(True)
        print("Get %s from queue." %url)

if __name__ == '__main__':
    # 父进程创建Queue,并传给各个子进程
    q = Queue()
    proc_write1 = Process(target= proc_write, args=(q, ['url_1', 'url_2', 'url_3']))
    proc_write2 = Process(target= proc_write, args=(q, ['url_4', 'url_5', 'url_6']))
    proc_reader = Process(target= proc_read, args=(q,))
    # 启动子进程proc_write, 写入
    proc_write1.start()
    proc_write2.start()
    #启动子进程proc_read，读取
    proc_reader.start()
    # 等待proc_writer结束
    proc_write1.join()
    proc_write2.join()
    # proc_reader进程里是死循环，无法等待其结束，只能强行终止
    proc_reader.terminate()

输出结果如下所示：

Process 20444 is writing...
Put url_1 to queue...
Process 11904 is writing...
Put url_4 to queue...
Process 10092 is reading....
Get url_1 from queue.
Get url_4 from queue.
Put url_5 to queue...
Get url_5 from queue.
Put url_2 to queue...
Get url_2 from queue.
Put url_3 to queue...
Get url_3 from queue.
Put url_6 to queue...
Get url_6 from queue.