生产者消费者模型-python-多进程

最新推荐文章于 2024-02-27 22:36:36 发布

原创

最新推荐文章于 2024-02-27 22:36:36 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#constructor #import #多线程 #python #存储

该博客介绍了一个使用Python的multiprocessing模块实现的生产者消费者模型。为了解决多线程中GIL限制的问题，作者采用了多进程来充分利用多核CPU。代码创建了生产者和消费者进程，通过Queue对象进行通信。生产者将数据放入队列，而消费者从队列中取出并处理数据。整个程序展示了如何启动和管理多个进程，并在适当的时候结束它们。

最近用python写了一个base64解码程序，解码的过程比较耗CPU，为了充分发挥多核优势，引入多线程，又因为python有全局锁GIL，多线程仍然只能使用一个核，于是重新用多进程multiprocessing实现。多线程下，通过继承threading.Thread类实现时，可以将线程共享数据（如消费品队列）作为类静态变量存储；在多进程下，通过继承multiprocessing.Process类实现时，这种方法共享消费品队列失效，最后通过将队列作为构造函数参数传入正确实现。

import multiprocessing, Queue
from multiprocessing import Process
from time import sleep
from datetime import datetime

########################################################################
class MultiProcessProducer(multiprocessing.Process):
    """"""

    #----------------------------------------------------------------------
    def __init__(self,num, queue):
        """Constructor"""
        multiprocessing.Process.__init__(self)
        self.num = num
        self.queue = queue