python多进程学习笔记

多进程池并发处理技巧

最新推荐文章于 2025-09-08 10:56:58 发布

转载最新推荐文章于 2025-09-08 10:56:58 发布 · 58 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/pengwue/p/6557179.html

文章标签：

#python

本文介绍了一种使用Python的multiprocessing模块中的Pool类来实现任务的并发处理的方法。通过定义工作函数和处理函数，可以有效地利用多核CPU资源加速程序运行。文中还展示了如何控制进程数量，并给出了一段具体的示例代码。

# coding=utf-8
from multiprocessing import Process,Pool
import os
import time

def printf(args):
    # time.sleep(1)
    print "pool: %d [%s]---%s" % (args+1,os.getpid(),time.time())   # os.getpid()获取当前的进程的ID

def works(func, lista, worknum):
    t_start = time.time()   # 开始计时
    pool = Pool(worknum)    # 定义并发进程数，worknum如果给了5，就是5个进程并发，如果要处理下面100次func函数的任务，那么并发后只需要处理20次
    for i in lista: # 相当于要执行的任务量（range(100)）
        pool.apply_async(func,args=(i,))    # 执行func函数（即printf函数）
    pool.close()
    pool.join() # 调用join函数前，先调用close函数。执行完close后，不会有新的进程加入到pool，join函数等待所以子进程结束
    t_end = time.time() # 计时结束
    t = t_end - t_start
    print "the program time is :%s" %t

if __name__ == "__main__":
    lista = range(100)
    procs = 10
    works(printf, lista, procs)