Python进程讲解

Python程序u猿

墨衍会员 · AI 创作全网分发码龄5年

关注

原创最新推荐文章于 2026-05-23 16:24:50 发布 989 阅读 AI 写同款· GEO 优化 ›

Python多进程讲解（附实例） Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。阅读详情

1.进程

简单的说就是实现唱歌跳舞同时进行，那么就需要一个新的方法，叫做：多任务

2.多任务的概念

简单地说，就是操作系统可以同时运行多个任务
并行执行多任务只能在多核CPU上实现，但是，由于任务数量远远多于CPU的核心数量，所以，操作系统也会自动把很多任务轮流调度到每个核心上执行
就是说当cpu核心数量大于任务数量就是并行，反过来，就是并发
依照的规则有时间片轮转，优先级调度

3.进程的创建-fork

程序：编写完毕的代码，在没有运行的时候，称之为程序
进程：正在运行着的代码，还有需要运行的环境等
fork( )：
Python的os模块封装了常见的系统调用，其中就包括fork

import os
 
# 注意，fork函数，只在Unix/Linux/Mac上运行，windows不可以
 
pid = os.fork()
 
    if pid == 0:
        print('哈哈1')
 
    else:
      print('哈哈2')
 
# 程序执行到os.fork()时，操作系统会创建一个新的进程（子进程），然后复制父进程的所有信息到子进程中
# 然后父进程和子进程都会从fork()函数中得到一个返回值，在子进程中这个值一定是0，而父进程中是子进程的 id号
# 普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回
# getpid()是获取当前进程（主进程或子进程）的id、getppid()获取父进程的id

4.多进程修改全局变量

多进程中，每个进程中所有数据（包括全局变量）都各有拥有一份，互不影响，所以在修改全局变量的时候，两个变量相互独立

5.多次fork问题

下次遇到多进程就画图，再如：

os.fork()
os.fork()
os.fork()      # 就变成了8个进程

在while True中，如果有os.fork()，程序一定崩，这就相当于fork炸弹，死循环创建进程

6.multiprocessing模块

multiprocessing模块提供了一个Process类来代表一个进程对象
跨平台的操作，fork只在linux下才有效，所以平时应该使用process,它是一个类

程序如下：

from multiprocessing import Process
import time
 
def test():
    while True:
        print("---test---")
        time.sleep(1)
         
P = Process(target=test)
 
P.start()  # 让这个进程开始执行test函数里的代码
 
while True:
    print("---main---")
    time.sleep(1)
 
说明：
# 创建子进程时，只需要传入一个执行函数和函数的参数，创建一个Process实例，用start()方法启动
# 这样创建进程比fork()还要简单
# join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步，这就与fork不同，需要等子进程结束，主进程才可以结束

7.Process语法结构

Process([group [, target [, name [,  args [, kwargs]]]]])

target：表示这个进程实例所调用对象；
args：表示调用对象的位置参数元组；
kwargs：表示调用对象的关键字参数字典；
name：为当前进程实例的别名；
group：大多数情况下用不到；

8.Process类常用方法

is_alive()：判断进程实例是否还在执行；
join([timeout])：是否等待进程实例执行结束，或等待多少秒；
start()：启动进程实例（创建子进程）；
run()：如果没有给定target参数，对这个对象调用start()方法时，就将执行对象中的run()方法；
terminate()：不管任务是否完成，立即终止；

9.Process类常用属性

name：当前进程实例别名，默认为Process-N，N为从1开始递增的整数；
pid：当前进程实例的PID值
进程的创建-Process子类：
创建新的进程还能够使用类的方式，可以自定义一个类，继承Process类，每次实例化这个类的时候，就等同于实例化一个进程对象
如果想知道程序的运行时间，可以用开始和结束的time.time()两个时间差，就代表运行时间

10.进程池pool

当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程
但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法

P0 = Pool(3) # 定义一个进程池，最大进程数3
for i in range(0,10):
 
    # Pool.apply_async(要调用的目标,(传递给目标的参数元组,))（非堵塞式）
    # Pool.apply(worker,(i,)) （堵塞式），主进程卡在这里，需要等子进程完成才能添加
    # 每次循环将会用空闲出来的子进程去调用目标
     
    P0.apply_async(worker,(i,)) # work是一个函数
    P0.close() # 关闭进程池，关闭后po不再接收新的请求
    P0.join() # 等待po中所有子进程执行完成，必须放在close语句之后

11.多种创建进程的方式比较

os.fork()中，子进程和父进程可以都执行，而且父进程可以不必等待子进程结束

p = process(target=xxx)
p.start()
# 子进程和父进程都可执行
pool = Pool(3)
pool.apply_async(xxx)
# 主进程一般用来等待，真正的任务都在子进程中执行

12.进程间通信-Queue

1.Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。
2.Queue的使用：
可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序
队列：先进先出
栈：先进后出
初始化Queue()对象时（例如：q=Queue()），若括号中没有指定最大可接收的消息数量，或数量为负值，那么就代表可接受的消息数量没有上限（直到内存的尽头）

from multiprocessing import Queue
 
q = Queue(3) # 初始化一个Queue对象，最多可接收三条put消息
#Python小白学习交流群：711312441 
try:
    q.put_nowait("消息4")
 
except:
    print("消息列队已满，现有消息数量:%s"%q.qsize())