Python多进程并发(multiprocessing)用法实例详解

最新推荐文章于 2025-10-21 16:12:01 发布

转载最新推荐文章于 2025-10-21 16:12:01 发布 · 1w 阅读

个人专栏收录该内容

41 篇文章

订阅专栏

本文详细介绍了Python中多进程并发的使用方法，包括全局解释器锁（GIL）的限制及如何通过multiprocessing模块实现多核CPU的有效利用。文中通过实例展示了如何创建单一进程、使用进程池以及获取子进程返回结果。

python多线程的限制

python多线程有个讨厌的限制，全局解释器锁（global interpreter lock），这个锁的意思是任一时间只能有一个线程使用解释器，跟单cpu跑多个程序一个意思，大家都是轮着用的，这叫“并发”，不是“并行”。手册上的解释是为了保证对象模型的正确性！这个锁造成的困扰是如果有一个计算密集型的线程占着cpu，其他的线程都得等着....，试想你的多个线程中有这么一个线程，得多悲剧，多线程生生被搞成串行；当然这个模块也不是毫无用处，手册上又说了：当用于IO密集型任务时，IO期间线程会释放解释器，这样别的线程就有机会使用解释器了！所以是否使用这个模块需要考虑面对的任务类型。

Python多进程并发(multiprocessing)用法 multiprocessing模块进程操作的相关技巧

实例讲述了Python多进程并发(multiprocessing)用法。分享给大家供大家参考。具体分析如下：

由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。
Python提供了非常好用的多进程包multiprocessing，你只需要定义一个函数，Python会替你完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。

1、新建单一进程

如果我们新建少量进程，可以如下：

         import 
         multiprocessing
        
         import 
         time
        
         def 
         func(msg):
        
         for 
         i 
         in 
         xrange
         (
         3
         ):
        
         print 
         msg
        
         time.sleep(
         1
         )
        
         if 
         __name__ 
         =
         = 
         "__main__"
         :
        
         p 
         = 
         multiprocessing.Process(target
         =
         func, args
         =
         (
         "hello"
         , ))
        
         p.start()
        
         p.join()
        
         print 
         "Sub-process done."

2、使用进程池

Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。

它可以让你跑满多核CPU，而且使用方法非常简单。

注意要用apply_async，如果落下async，就变成阻塞版本了。

processes=4是最多并发进程数量。

         import 
         multiprocessing
        
         import 
         time
        
         def 
         func(msg):
        
         for 
         i 
         in 
         xrange
         (
         3
         ):
        
         print 
         msg
        
         time.sleep(
         1
         )
        
         if 
         __name__ 
         =
         = 
         "__main__"
         :
        
         pool 
         = 
         multiprocessing.Pool(processes
         =
         4
         )
        
         for 
         i 
         in 
         xrange
         (
         10
         ):
        
         msg 
         = 
         "hello %d" 
         %
         (i)
        
         pool.apply_async(func, (msg, ))
        
         pool.close()
        
         pool.join()
        
         print 
         "Sub-process(es) done."

3、使用Pool，并需要关注结果

更多的时候，我们不仅需要多进程执行，还需要关注每个进程的执行结果，如下：

         import 
         multiprocessing
        
         import 
         time
        
         def 
         func(msg):
        
         for 
         i 
         in 
         xrange
         (
         3
         ):
        
         print 
         msg
        
         time.sleep(
         1
         )
        
         return 
         "done " 
         + 
         msg
        
         if 
         __name__ 
         =
         = 
         "__main__"
         :
        
         pool 
         = 
         multiprocessing.Pool(processes
         =
         4
         )
        
         result 
         = 
         []
        
         for 
         i 
         in 
         xrange
         (
         10
         ):
        
         msg 
         = 
         "hello %d" 
         %
         (i)
        
         result.append(pool.apply_async(func, (msg, )))
        
         pool.close()
        
         pool.join()
        
         for 
         res 
         in 
         result:
        
         print 
         res.get()
        
         print 
         "Sub-process(es) done."