进程( 三)----进程同步,进程池

本文探讨了进程同步的概念,解释了临界资源和临界区的重要性,指出在多进程环境中防止并发访问公共资源的必要性。通过示例展示了Python中使用Lock进行同步的方式。此外,还介绍了进程池的概念,它是如何维护和分配进程,以及在处理大量任务时的优势。重点提到了`apply_async`、`close`、`terminate`和`join`等关键方法在进程池中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  • 进程同步

进程与进程之间相互独立是不是就不需要同步了呢?答案是否定的,计算机系统有很多东西比如不允许多个并发进程同时访问临界资源,临时区等

临界资源和临界区(临界部分)

  • 临界资源:一次只能供一个进程访问的资源。
  • 临界区:把不允许多个并发进程交叉执行的一段程序称为临界区(critical region)或临界部分(critical section)。

临界区是由属于不同并发进程的程序段共享公用数据或公用数据变量而引起的,临界区不可能用增加硬件的方法来解决。因此,临界区也可以被称为访问公用数据的那段程序。

当一个进程使用该临界资源时,其他需要访问该资源的进程必须阻塞,直到占用者释放该资源。

一般情况下,作为程序段的一个过程不允许多个进程同时访问它。但如果该过程是纯过程,则各并发进程可以同时访问它。纯过程是指在执行过程中不改变过程自身代码的一类过程。

进程里面也有 Lock来实现同步,这里直接给大家代码

from  multiprocessing import Process ,Lock
import time

def f(l,i):
    with l:
        print("hello world %s"%i) #  不加所会输出会串行

if __name__ == "__main__":
    lock=Lock()
    for num in range(10):
        Process(target=f,args=(lock,num)).start()
    

在不加锁的话可能会出现两行打印成一行的情况

 

  • 进程池

进程池内部维护者一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可以供使用的进程,纳闷进程就会等待,直到进程池中有可用进程为止。

在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

  • apply_async(func[, args[, kwds[, callback]]]) 它是非阻塞,apply(func[, args[, kwds]])是阻塞的(理解区别,看例1例2结果区别)
  • close()    关闭pool,使其不在接受新的任务。
  • terminate()    结束工作进程,不在处理未完成的任务。
  • join()    主进程阻塞,等待子进程的退出, join方法要在close或terminate之后使用。
  • get()函数得出每个返回结果的值
from  multiprocessing import Process ,Pool

import  time,os
def Foo(i):
    time.sleep(1)
    #print(i)

    return i+100 #将返回的值付作为Bar参数
def Bar(arg):


    print("从Foo 获得的返回值:",arg)

pool = Pool(5) #一次只允许5个进程
Bar(1)
print("主进程",os.getppid())
for i in range(100):
    #pool.apply(func=Foo,args=(i,))#同步
    #回调函数是主进程调用-----一般把共用的东西让回调处理
    pool.apply_async(func=Foo,args=(i,),callback=Bar) #异步

pool.close()
pool.join()
print("end")

1. 目的: 调试、修改、运行模拟程序,通过形象化的状态显示,使学生理解进程的概念,了解同步和通信的过程,掌握进程通信和同步的机制,特别是利用缓冲区进行同步和通信的过程。通过补充新功能,使学生能灵活运用相关知识,培养创新能力。 2. 内容及要求: 1) 调试、运行模拟程序。 2) 发现并修改程序中不完善的地方。 3) 修改程序,使用随机数控制创建生产者和消费者的过程。 4) 在原来程序的基础上,加入缓冲区的写互斥控制功能,模拟多个进程存取一个公共缓冲区,当有进程正在写缓冲区时,其他要访问该缓冲区的进程必须等待,当有进程正在读取缓冲区时,其他要求读取的进程可以访问,而要求写的进程应该等待。 5) 完成1)、2)、3)功能的,得基本分,完成4)功能的加2分,有其它功能改进的再加2分 3. 程序说明:   本程序是模拟两个进程,生产者(producer)和消费者(Consumer)工作。生产者每次产生一个数据,送入缓冲区中。消费者每次从缓冲区中取走一个数据。缓冲区可以容纳8个数据。因为缓冲区是有限的,因此当其满了时生产者进程应该等待,而空时,消费者进程应该等待;当生产者向缓冲区放入了一个数据,应唤醒正在等待的消费者进程,同样,当消费者取走一个数据后,应唤醒正在等待的生产者进程。就是生产者和消费者之间的同步。   每次写入和读出数据时,都将读和写指针加一。当读写指针同样时,又一起退回起点。当写指针指向最后时,生产者就等待。当读指针为零时,再次要读取的消费者也应该等待。 为简单起见,每次产生的数据为0-99的整数,从0开始,顺序递增。两个进程的调度是通过运行者使用键盘来实现的。 4. 程序使用的数据结构 进程控制块:包括进程名,进程状态和执行次数。 缓冲区:一个整数数组。 缓冲区说明块:包括类型,读指针,写指针,读等待指针和写等待指针。 5. 程序使用说明   启动程序后,如果使用'p'键则运行一次生产者进程,使用'c'键则运行一次消费者进程。通过屏幕可以观察到两个进程的状态和缓冲区变化的情况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值