Python -- 多进程

鹿夏

墨衍会员 · AI 创作全网分发码龄8年

关注

原创最新推荐文章于 2026-05-05 10:53:43 发布 806 阅读 AI 写同款· GEO 优化 ›

Python中多进程在爬虫中的使用如何利用多进程的方法来提高Python爬虫的速度和效率。介绍了multiprocessing库的使用，并且用验证爬到的代理IP可用性作为例子来讲述多进程方法的具体使用。阅读详情

多进程

multiprocessing
- Process类
- 注意
进程间同步
进程池举例
- 同步调用
- 异步调用
多进程、多线程的选择
- 应用

由于Python的GIL全局解释器锁存在，多线程未必是CPU密集型程序的好的选择
多进程可以完全独立的进程环境中运行程序，可以较充分地利用多处理器
但是进程本身的隔离带来的数据不共享也是一个问题。而且线程比进程轻量级

multiprocessing

Process类

Process类遵循了Thread类的API

import multiprocessing
import datetime

def calc(i):
    sum = 0
    for _ in range(1000000000): # 10亿
        sum += 1
    return i, sum

if __name__ == '__main__':
    start = datetime.datetime.now()

    ps = []
    for i in range(4):
        p = multiprocessing.Process(target=calc, args=(i,), name='calc-{}'.format())
        ps.append(p)
        p.start()

    for p in ps:
        p.join()
        print(p.name, p.exitcode)

    delta = (datetime.datetime.now() - start).total_seconds()
    print(delta)
    print('===end===')

对于上面这个程序，在同一主机上运行时长的对比

使用单线程、多线程跑了4分钟多
多进程用了1分半
看到了多个进程都在使用CPU，这是真并行

注意

多进程代码一定要放在__name__ == "__main__"下面执行

名称	说明
pid	进程id
exitcode	进程的退出状态码
terminate()	终止指定的进程

进程间同步

Python在进程间同步提供了和线程同步一样的类，使用的方法一样，使用的效果也类似
不过，进程间代价要高于线程间，而且系统底层实现是不同的，只不过Python屏蔽了这些不同之处，让用户简单使用多进程
multiprocessing还提供共享内存、服务器进程来共享数据，还提供了用于进程间通讯的Queue队列、Pipe管道
通信方式不同
1. 多进程就是启动多个解释器进程，进程间通信必须序列化、反序列化
2. 数据的线程安全性问题
  如果每个进程中没有实现多线程，GIL可以说没什么用了

进程池举例

multiprocessing.Pool 是进程池类

名称	说明
apply(self, func, args=(), kwds={})	阻塞执行，导致主进程执行其他子进程就像一个个执行
apply_async(self, func, args=(), kwds={}, callback=None, error_callback=None)	与apply方法用法一致，非阻塞异步执行，得到结果后会执行回调
close()	关闭池，池不能再接受新的任务，所有任务完成后退出进程
terminate()	立即结束工作进程，不再处理未处理的任务
join()	主进程阻塞等待子进程的退出， join方法要在close或terminate之后使用

同步调用

pool.apply 同步阻塞的方法，多进程串行

import logging
import datetime
import multiprocessing

# 日志打印进行id、进程名、线程id、线程名
logging.basicConfig(level=logging.INFO,
                    format="%(process)d %(processName)s %(thread)d %(message)s")

def calc(i):
    sum = 0
    for _ in range(1000000000): # 10亿
        sum += 1
    logging.info(sum)
    return i, sum # 进程要return，才可以拿到这个结果

if __name__ == '__main__':
    start = datetime.datetime.now()

    pool = multiprocessing.Pool(4)
    for i in range(4):
        # 返回值，同步调用，注意观察CPU使用
        ret = pool.apply(calc, args=(i,))
        print(ret)
    pool.close()
    pool.join()

    delta = (datetime.datetime.now() - start).total_seconds()
    print(delta)
    print('===end===')

执行结果

333980 SpawnPoolWorker-1 332164 1000000000
(0, 1000000000)
(1, 1000000000)
332272 SpawnPoolWorker-3 332200 1000000000
(2, 1000000000)
334224 SpawnPoolWorker-4 324984 1000000000
332264 SpawnPoolWorker-2 332232 1000000000
(3, 1000000000)
483.274714
===end===

cup使用情况，4个进程串行处理

异步调用

pool.aaply_async 异步非阻塞，真并行

import logging
import datetime
import multiprocessing

# 日志打印进行id、进程名、线程id、线程名
logging.basicConfig(level=logging.INFO,
                    format="%(process)d %(processName)s %(thread)d %(message)s")

def calc(i):
    sum = 0
    for _ in range(1000000000): # 10亿
        sum += 1
    logging.info(sum)
    return i, sum # 进程要return，callback才可以拿到这个结果

if __name__ == '__main__':
    start = datetime.datetime.now()

    pool = multiprocessing.Pool(4)
    for i in range(4):
        # 异步拿到的返回值是什么，回调起了什么作用
        ret = pool.apply_async(
            calc, args=(i,),callback=lambda ret: logging.info('{} in callback'.format(ret)))

        print(ret, '~~~~~~~')
    pool.close()
    pool.join()

    delta = (datetime.datetime.now() - start).total_seconds()
    print(delta)
    print('===end===')

执行结果

<multiprocessing.pool.ApplyResult object at 0x0000015814F616D8> ~~~~~~~
<multiprocessing.pool.ApplyResult object at 0x0000015814F61780> ~~~~~~~
<multiprocessing.pool.ApplyResult object at 0x0000015814F618D0> ~~~~~~~
<multiprocessing.pool.ApplyResult object at 0x0000015814F61978> ~~~~~~~
335068 SpawnPoolWorker-4 208444 1000000000
334080 MainProcess 335552 (2, 1000000000) in callback
332176 SpawnPoolWorker-2 334620 1000000000
334080 MainProcess 335552 (1, 1000000000) in callback
328432 SpawnPoolWorker-1 335124 1000000000
334080 MainProcess 335552 (0, 1000000000) in callback
334840 SpawnPoolWorker-3 335532 1000000000
334080 MainProcess 335552 (3, 1000000000) in callback
204.866947
===end===