python中进程资源共享之queue

在python中进程之间可以用queue队列实现共享资源。

基本方法:

Queue.Queue(maxsize=0) FIFO, 如果maxsize小于1就表示队列长度无限
Queue.LifoQueue(maxsize=0) LIFO, 如果maxsize小于1就表示队列长度无限
Queue.qsize() 返回队列的大小
Queue.empty() 如果队列为空,返回True,反之False
Queue.full() 如果队列满了,返回True,反之False
Queue.get([block[, timeout]]) 读队列,timeout等待时间
Queue.put(item, [block[, timeout]]) 写队列,timeout等待时间
Queue.queue.clear() 清空队列

其实python中queue实现了两个进程之间资源的共享。一个进程可以存数据,另外一个进程可以从其中拿数据。实现代码如下:

import multiprocessing
import time

#创建一个queue队列作为容器
q = multiprocessing.Queue()

def put(num):

    i = 0
    while i<= num:
        #向队列中添加数字
        q.put(i)
        i += 1
        time.sleep(1)


def get():

    while True:

    #取出队列中的数字
        num = q.get()
        time.sleep(1)
        print(num)

        #若队列的数字已经去完,则退出循环
        if q.empty():
            break


def main():
    
    #创建连个进程
    p_put = multiprocessing.Process(target=put,args=(10,))
    p_get = multiprocessing.Process(target=get)

    #开启这两个进程
    p_get.start()
    p_put.start()


if __name__ == '__main__':
    main()


Python中,进程池(Process Pool)是一种用于并行处理任务的高效方式。进程池允许多个进程共享资源,以便同时执行多个任务。然而,进程之间的资源共享需要特别注意,因为每个进程都有自己的独立内存空间。 以下是一些常见的资源共享方法: 1. **共享内存(Shared Memory)**: - 使用`multiprocessing`模块中的`Value`和`Array`类,可以在进程之间共享简单的数据类型(如整数、浮点数和字符数组)。 ```python from multiprocessing import Process, Value, Array def f(n, a): n.value = 3.14 for i in range(len(a)): a[i] = -a[i] if __name__ == '__main__': num = Value('d', 0.0) arr = Array('i', range(10)) p = Process(target=f, args=(num, arr)) p.start() p.join() print(num.value) print(arr[:]) ``` 2. **Manager对象**: - `multiprocessing.Manager()`提供了更高层次的共享对象,如列表、字典等。这些对象可以通过网络在多个进程之间共享。 ```python from multiprocessing import Process, Manager def f(d, l): d[1] = '1' d['2'] = 2 d[0.25] = None l.reverse() if __name__ == '__main__': with Manager() as manager: d = manager.dict() l = manager.list(range(10)) p = Process(target=f, args=(d, l)) p.start() p.join() print(d) print(l) ``` 3. **队列(Queue)和管道(Pipe)**: - 使用`multiprocessing.Queue`和`multiprocessing.Pipe`可以在进程之间传递数据。这些方法适用于生产者-消费者模型。 ```python from multiprocessing import Process, Queue def f(q): q.put([42, None, 'hello']) if __name__ == '__main__': q = Queue() p = Process(target=f, args=(q,)) p.start() print(q.get()) # prints "[42, None, 'hello']" p.join() ``` 4. **文件或数据库**: - 通过文件或数据库进行数据共享也是一种常见的方法。进程可以将数据写入文件或数据库,其他进程再从中读取数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值