Python进程池

Python进程池

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。

导入

import multiprocessing 
import time
import os
import random

封装一个逻辑函数

def test1(msg):
        t_start = time.time()   
        print("%s开始执行,进程号为%d" % (msg, os.getpid()))
        time.sleep(random.random() * 2)  
        t_stop = time.time()
        print("%s执行完成,耗时%.2f" % (msg, t_stop - t_start)) 

编写主函数

if __name__ == "__main__":
    
        po = multiprocessing.Pool(3) #同时创建三个进程
        for i in range(0, 10):
                # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
                # 每次循环将会用空闲出来的子进程去调用目标
                po.apply_async(test1, (i,))
    
        print("-----start-----")
    
        po.close() # 关闭进程池,关闭后po不再接收新的请求
        po.join() # 等待po中所有子进程执行完成,必须放在close语句之后

        print("-----end-----")

运行结果

-----start-----
0开始执行,进程号为40291
1开始执行,进程号为40292
2开始执行,进程号为40293
2执行完成,耗时0.59
3开始执行,进程号为40293
0执行完成,耗时1.21
4开始执行,进程号为40291
1执行完成,耗时1.56
5开始执行,进程号为40292
3执行完成,耗时1.58
6开始执行,进程号为40293
5执行完成,耗时1.36
7开始执行,进程号为40292
4执行完成,耗时1.73
8开始执行,进程号为40291
6执行完成,耗时1.34
9开始执行,进程号为40293
8执行完成,耗时0.71
9执行完成,耗时0.36
7执行完成,耗时1.21
-----end-----

参数

1、apply()

函数原型:apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数,同python中的apply函数一致,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现)。

2、apply_async

函数原型:apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一致,但它是非阻塞的且支持结果返回后进行回调。

3、map()

函数原型:map(func, iterable[, chunksize=None])

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到结果返回。
    注意:虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

4、map_async()

函数原型:map_async(func, iterable[, chunksize[, callback]])
    与map用法一致,但是它是非阻塞的。其有关事项见apply_async。

5、close()

关闭进程池(pool),使其不在接受新的任务。

6、terminal()

结束工作进程,不在处理未处理的任务。

7、join()

主进程阻塞等待子进程的退出, join方法要在close或terminate之后使用。

### Python 进程池 (Pool) 的使用教程 #### 什么是进程池? `multiprocessing.Pool` 是 Python 中用于管理多个进程的一个工具。它可以自动分配任务给不同的进程,并收集其返回的结果。这种方式非常适合处理大量独立的任务,能够充分利用多核 CPU 资源[^1]。 --- #### `multiprocessing.Pool` 的基本用法 以下是创建和使用进程池的一般流程: 1. **导入必要的库** 需要引入 `multiprocessing` 库。 2. **定义目标函数** 定义一个函数作为目标任务,该函数将在各个进程中运行。 3. **初始化进程池** 使用 `multiprocessing.Pool()` 初始化一个进程池对象,可以通过参数指定并发的进程数。 4. **提交任务** 可以通过 `.apply_async()` 方法异步提交任务,或者使用 `.map()` 方法批量分发任务。 5. **关闭并等待完成** 使用 `.close()` 关闭进程池,不再接受新的任务;使用 `.join()` 等待所有任务完成后退出。 --- #### 示例代码:使用 `multiprocessing.Pool` 下面是一个简单的示例,展示如何使用 `multiprocessing.Pool` 来并行化任务执行。 ```python import time from multiprocessing import Pool def worker(number): """模拟耗时任务""" print(f"Worker {number} started") time.sleep(2) print(f"Worker {number} finished") return number * number if __name__ == '__main__': with Pool(processes=3) as pool: # 创建包含 3 个进程的池 inputs = list(range(5)) results = pool.map(worker, inputs) # 将输入列表映射到 worker 函数 print("Results:", results) ``` 上述代码中: - `worker` 函数被传递给进程池中的不同进程分别执行。 - `pool.map()` 自动将输入数据分布到各进程中,并最终收集结果。 --- #### 常见问题及其解决方法 ##### 1. 主程序入口未保护 (`if __name__ == '__main__'`) 如果在 Windows 平台上直接调用多进程代码而没有加上 `if __name__ == '__main__'` 判断,则会引发无限递归错误。这是因为每次启动新进程都会重新加载整个脚本文件[^3]。 解决方案:始终确保主程序逻辑位于 `if __name__ == '__main__':` 下面。 --- ##### 2. 数据共享与同步问题 由于每个进程都有自己的内存空间,在某些情况下可能需要跨进程共享状态或变量。然而,默认情况下无法直接访问其他进程的数据[^4]。 解决方案:可以借助 `multiprocessing.Manager` 或者全局队列/锁机制来实现安全的数据交换。 --- ##### 3. 异常捕获困难 当某个子进程抛出了异常时,父进程未必能立即感知到这一情况,这可能导致调试变得复杂。 解决方案:可以在回调函数里记录日志或将异常信息存入特定容器供后续分析。 --- ### 总结 通过合理配置和运用 `multiprocessing.Pool` ,开发者不仅可以简化大规模分布式运算的设计过程,还能显著提升应用程序性能。不过需要注意的是,实际开发过程中还需考虑平台差异以及潜在的风险因素。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值