python multiprocessing模块

本文介绍如何使用Python的multiprocessing模块来实现多进程任务处理,包括进程池的创建与使用方法,如apply_async非阻塞回调及map阻塞操作,并展示了如何通过Pool类分配任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

multiprocessing 充分利用cpu多核
一般情况下cpu密集使用进程池,IO密集使用线程池。python下想要充分利用多核CPU,就用多进程。
pool = multiprocessing.Pool(multiprocessing.cpu_count())
__init__(self, group=None, target=None, name=None, args=(), kwargs={})
group:进程所属组。基本不用
target:表示调用对象。
args:表示调用对象的位置参数元组。
name:别名
kwargs:表示调用对象的字典。
join()方法表示等待子进程结束以后再继续往下运行,通常用于进程间的同步。

#!/usr/bin/env python
#coding=utf-8

import multiprocessing

def do(n) :
  name = multiprocessing.current_process().name
  print name,'starting'
  print "worker ", n

if __name__ == '__main__' :
  for i in xrange(5) :
    p = multiprocessing.Process(target=do, args=(i,))  //加,才是元组,不加的话str中的每个字符作为参数传递
    p.start()
    p.join()
    print "Process end."

multiprocessing 模块下的Pool类
from multiprocessing import Pool

apply_async(func[, args=()[, kwds={}[, callback=None]]])
它是非阻塞且支持结果返回进行回调。

pool = multiprocessing.Pool(processes = 3)
    for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply_async(func, (msg, ))  //非阻塞

pool = multiprocessing.Pool(processes = 3)
    for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply(func, (msg, ))   //阻塞,等一个进程执行完再执行下一个

import multiprocessing
import time

def func(msg):
    print "msg:", msg
    time.sleep(3)
    print "end"
    return "done" + msg

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)
    result = []
    for i in xrange(3):
        msg = "hello %d" %(i)
        result.append(pool.apply_async(func, (msg, )))   //结果回调
    pool.close()
    pool.join()
    for res in result:
        print ":::", res.get()
    print "Sub-process(es) done."

map(func, iterable[, chunksize=None])
它会使进程阻塞直到返回结果。

#coding: utf-8
import multiprocessing

def m1(x):
    print x * x

if __name__ == '__main__':
    pool = multiprocessing.Pool(multiprocessing.cpu_count())
    i_list = range(8)
    pool.map(m1, i_list)

os.walk()可以得到一个三元tupple(dirpath, dirnames, filenames),
第一个为起始路径,第二个为起始路径下的文件夹,第三个是起始路径下的文件。

dirpath 是一个string,代表目录的路径,
dirnames 是一个list,包含了dirpath下所有子目录的名字。
filenames 是一个list,包含了非目录文件的名字。

import os
import os.path
fileDir = os.sep + "export" + os.sep + "sh" + os.sep + "cate3_expandnames"
for root, dirs, files in os.walk(fileDir):
    for name in files:
        print os.path.join(root, name)

for a in os.walk(fileDir):
        print(a[0])  
        print(a[1])  
        print(a[2])


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值