60.Python进阶_进程池01

最新推荐文章于 2023-03-05 22:34:45 发布
原创 最新推荐文章于 2023-03-05 22:34:45 发布 · 144 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在Python中使用multiprocessing模块的Pool方法进行高效多进程管理的技术。通过实例展示了如何利用Pool方法动态生成并控制多个进程，特别强调了在处理大量任务时，Pool方法相较于手动创建进程的优势。

当需要创建的子进程不多时，我们可以利用multiprocessing中的Process动态生成多个进程，但是如果是上百甚至是上千个目标，手动去创建进程的工作量巨大，并且每次进程创建和销毁占用内存较大，此时可以使用multiprocessing模块提供的Pool方法；

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池中还没有满，就会创建一个新的进程来执行该请求，但是如果池中的进程数已经达到指定的最大值，那么请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务；

Pool的常用方法：

import time
import os

def work1():
    for i in range(10):
        print(F'work1正在执行-----{os.getpid()}----')
        time.sleep(0.1)


#创建一个进程池，池中有五个进程
po = Pool(5)
po.apply_async(work1)
po.close()   #关闭进程池，不能在接受新任务
po.join()  #等待子进程

print(F'主进程执行-----{os.getpid()}')
`

运行报错，陷入死循环，就和之前的问题一样，需要创建在__main__函数下

再改进一下使用__main__函数执行：

from multiprocessing import Pool
import time
import os

def work1():
    for i in range(10):
        print(F'work1正在第{i}次执行-----{os.getpid()}----')
        time.sleep(0.1)
def work2():
    for i in range(10):
        print(F'work2正在第{i}次执行-----{os.getpid()}----')
        time.sleep(0.1)


#创建一个进程池，池中有五个进程
if __name__ == '__main__':

    po = Pool(5)
    for i in range(10):
        po.apply_async(work1)
    for i in range(10):
        po.apply_async(work2)
    po.close()  #关闭进程池，不能在接受新任务
    po.join()  #等待子进程

print(F'主进程执行-----{os.getpid()}')

运行结果：

主进程执行-----9976
主进程执行-----2340
主进程执行-----2012
work1正在第0次执行-----9976----
主进程执行-----84
主进程执行-----1200
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----1200----
work1正在第0次执行-----84----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----84----
work1正在第1次执行-----1200----

work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----work1正在第2次执行-----84----


work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----2012----work1正在第3次执行-----84----work1正在第3次执行-----1200----


work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----2012----
work1正在第4次执行-----84----work1正在第4次执行-----1200----

work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----2012----work1正在第5次执行-----1200----
work1正在第5次执行-----84----

work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----84----
work1正在第6次执行-----1200----
work1正在第6次执行-----2012----
work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----work1正在第7次执行-----84----work1正在第7次执行-----2012----


work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----2012----work1正在第8次执行-----1200----

work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----1200----work1正在第9次执行-----84----

work1正在第9次执行-----2012----
work1正在第0次执行-----9976----
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----84----
work1正在第0次执行-----1200----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----1200----

work1正在第1次执行-----84----
work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----
work1正在第2次执行-----84----

work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----84----work1正在第3次执行-----2012----
work1正在第3次执行-----1200----

work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----1200----work1正在第4次执行-----2012----
work1正在第4次执行-----84----

work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----1200----
work1正在第5次执行-----84----work1正在第5次执行-----2012----

work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----2012----work1正在第6次执行-----1200----work1正在第6次执行-----84----


work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----
work1正在第7次执行-----84----
work1正在第7次执行-----2012----
work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----1200----work1正在第8次执行-----2012----

work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----2012----
work1正在第9次执行-----1200----work1正在第9次执行-----84----

work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----1200----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----1200----work2正在第1次执行-----84----
work2正在第1次执行-----2012----

work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----84----work2正在第2次执行-----2012----


work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----1200----work2正在第3次执行-----2012----work2正在第3次执行-----84----


work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----

work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----84----work2正在第5次执行-----2012----


work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----1200----work2正在第6次执行-----2012----work2正在第6次执行-----84----


work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----84----work2正在第7次执行-----2012----
work2正在第7次执行-----1200----

work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----1200----work2正在第8次执行-----2012----
work2正在第8次执行-----84----

work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----1200----work2正在第9次执行-----84----work2正在第9次执行-----2012----


work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第0次执行-----1200----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----84----
work2正在第1次执行-----1200----work2正在第1次执行-----2012----

work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----2012----

work2正在第2次执行-----84----
work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----2012----work2正在第3次执行-----1200----work2正在第3次执行-----84----


work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----

work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----2012----work2正在第5次执行-----84----


work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----84----work2正在第6次执行-----1200----

work2正在第6次执行-----2012----
work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----1200----work2正在第7次执行-----84----
work2正在第7次执行-----2012----

work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----2012----
work2正在第8次执行-----84----work2正在第8次执行-----1200----

work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----2012----
work2正在第9次执行-----84----work2正在第9次执行-----1200----

主进程执行-----9440

Process finished with exit code 0
〖Python语法进阶篇④〗 - 进程池与进程锁
易编橙 · 终身成长社群，相遇已是上上签！
04-09 4万+
NICE！大家好，在上一章节，我们学习了 multiprocessing 模块 的关于进程的创建与进场常用的方法的相关知识。 通过在一个主进程下创建多个子进程可以帮助我们加速程序的运行，并且提高工作效率。不过上一章节文末我们也说过进程的问题，由于每一个进程都会消耗 `CPU 与 内存` 资源，这样就不能无限的创建进程的问题，因为会造成内存不足或者死机的情况。
33.Python进阶_魔法方法__add__和__sub__
安小静--
09-02 3433
定义加号的操作，即当使用+操作时，将会触发__add__()方法 我们先看实例对象相加的情况： class MyStr(): def __init__(self,value): self.value = value def __str__(self): return self.value s1=MyStr('aaa') s2=MyStr('BBBB...
python 多进程-进阶-进程池
ouyangzhenxin的博客
08-21 245
如果需要启动大量的子进程，使用进程池批量创建子进程的方式更加常见，因为当被操作对对象数目不大时，可以直接利用multiprocessing中的Process动态生成多个进程，如果数量大，此时就应该使用Pool。 Pool 可以提供指定数量的进程供用户调用，默认大小是CPU的核数。当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程用来执行该请求；但是如果池中的进程...
python高级进阶_19_快速理解python进程池（pool）
上海 彭彭
06-16 516
在前面的博客我也写了什么是池子， 池子就是里面的东西给你准备好了，你直接用就行了，相当于缓存。 进程池也是创建进程的， 和前面 Process 类，Process 子类差别很大， 进程池 可以一次创建多个进程，并且可以执行多个任务 Process 类，Process 子类 ，需要实例化 才能达到，并不能真正意义上的多任务 请看示例代码： 解释在注释里，自己理解下，不懂请评论谢谢 from mu...
61.Python进阶_进程池02_进程池间通信
安小静--
09-21 172
进程池之间的通信需要使用multiprocessing模块中的 Manager.Queue() 而不是multiprocessing模块中的Queue()否则会报错； 同样需要将进程以参数的形式传入： 直接看代码了解执行过程： from multiprocessing import Pool,Manager import time import os def reader(q1): ...
python高级进阶_19_快速理解python阻塞式进程池(apply)
上海 彭彭
06-16 999
先理解阻塞的概念 ， 阻塞： 就是当本任务完成了，才能继续运行，后边的任务需要排队。 ***阻塞的执行模式 是 产生一个任务，立马就让 进程1 执行， 再产生一个，然后让进程2执行下一个。轮流执行 直到执行完毕， 非阻塞的模式 执行， 立刻产生十个任务 ，分配给进程池执行。*** 把上节的代码只要改一个单词就完成了， 就是 把 apply_async >>>> ...
python进阶之进程池multiprocessing.Pool
热门推荐
陆撄宁的博客
11-03 1万+
python的进程池multiprocessing.Pool有八个重要函数： apply、apply_async、map、map_async、imap、imap_unordered、starmap、starmap_async 下面是他们的各个比较和区别： 1）apply 和 apply_async：apply 一次执行一个任务，但 apply_async 可以异步执行，因而也可以实现并发 我们使用代码实现下： apply: （一个任务执行完再进行下一个任务） def func(msg): print
2023年Python面试题_Python进阶_48道
suli77的博客
03-05 691
2023年Python面试题_Python进阶_48道
python并行计算进程池通信_python进阶多进程(进程池，进程间通信)
weixin_39898550的博客
12-08 124
python 多进程程序:是一个指令的集合进程，正在执行的程序编写完的代码，没有运行时，称为程序，正在运行的代码，称为进程– 程序是死的(静态的)，进程是活的(动态的)串行： 每个任务进入CPU中执行，执行一部分秒切下一个任务，处理完一个才能处理下一个，依次执行并行：是指多个线程同时执行(多核CPU)，微观上是同时的；并发：一段时间内宏观上有多个序在同时运行，微观上这些程序都是交替执行的，(单核...
Python高級编程_python进阶_python高级编程_
10-03
"Python高級编程"和"python进阶"的主题通常涵盖了一系列深入的编程概念和技术，旨在帮助程序员从基础过渡到更复杂的Python开发。在这个高级阶段，我们将探讨几个关键的知识点： 1. **面向对象编程（OOP）**：Python...
Python进阶：进程池实现多进程文件复制
"Python 进程知识与进程池应用，实现多进程文件夹复制" 本文主要探讨了Python的基础知识，特别是关于进程管理和进程池的使用，以及如何利用这些概念实现一个多进程文件夹复制器。首先，文章介绍了Python作为一种...
用Python写网络爬虫.rar_Python项目_python_python网络爬虫_爬虫_爬虫教程
07-15
Python的concurrent.futures库提供了线程池和进程池的实现。此外，asyncio库支持异步编程，可以并发处理多个I/O密集型任务。 2. 防止封禁策略：频繁的请求可能会导致IP被封禁，使用代理IP池、设置请求间隔、User-...
49.Python进阶_队列01_先进先出队列
安小静--
09-16 2224
Python的Quene模块中提供了同步的，线程安全的队列类，包括 - FIFO(先进先出)队列Queue, LIFO(先进后出)队列LifoQueue, 优先级队列PriorityQueue 这些队列都实现了锁原语，能够在多线程中直接使用，可以使用列表来实现线程间同步； 初始化Queue()对象时，如果（q=Queue(),若括号中没有指定最大可接受的消息数量，或者数量为负值，那么代表可接受...
13.Python基础11_集合Set
安小静--
09-16 1178
集合（set）是一个无序的不重复元素序列。 可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。 创建格式： parame = {value01,value02,...} 或者 set(value) basket = {'apple', 'orange', 'apple', 'pear', 'oran...
4.Python迭代器
安小静--
08-12 1011
迭代 循环中执行一遍循环体且选择下一个进入循环体的变量的过程 迭代器 迭代器是定义__next__方法的对象。（并用StopIteration标识迭代的完成） 区分可迭代对象和迭代器 可迭代对象是含有iter()方法的对象。iter()方法返回一个迭代器。 String, tuple, list，dict都是可迭代对象，因为它们都实现了iter()方法； 但是他们都不是迭代器，因为它们都没有实现...
8.Python生成器-经典应用读取1T大文件
安小静--
08-15 964
有个面试题： 有一个文件 大概有1T，并且只有一行，行之间有分隔符，我们需要把文件内的数据一行一行的读取出来， 然后写入数据库里面。 遇到超大文件，不能直接放在内存中，要分段进行读取 以减少内存的占用 有人说取行可以用open，然后用for循环。 with open（“file”）as f: for i in f.readlines(): print i 由于它只有一...
51.Python进阶_队列03_先进后出队列和优先级队列
安小静--
09-16 600
LIFO队列 （先进后出） LifoQueue(maxsize=0) LIFO即Last in First Out,后进先出。与栈的类似，使用和先进先出队列相同，只是取出数据的顺序不同, from queue import Queue,LifoQueue,PriorityQueue q = LifoQueue(5) #创建队列对象 for i in range(5): q.put(...
13.Python函数进阶_纯函数
安小静--
08-19 494
纯函数： 一个函数的返回结果只会依赖他的参数，并且执行过程中没有副作用（对外部环境进行修改），称为纯函数； 纯函数的3个原则： 变量只在函数作用域内获取，作为函数的参数传入； 不会产生副作用，不会改变被传入的数据或者其他数据（全局变量） 相同的输入保证相同的输出 def fun(a,b): return a*b+100 #函数fun返回的结果为两个参数相加的结果，只受到传入参数a和b的...
29.Python进阶_使用New方法实现单例模式
安小静--
08-30 489
单例设计模式 1.设计模式： 设计模式 是 前人工作的总结和提炼，通常，被人们广泛流传的设计模式都是针对 某一特定问题 的成熟的解决方案 使用 设计模式 是为了可重用代码、让代码更容易被他人理解、保证代码可靠性 2. 单例设计模式： 目的 —— 让 类 创建的对象，在系统中 只有 唯一的一个实例 每一次执行 类名() 返回的对象，内存地址是相同的 -也就是每一次创建的对象都指向第一次创建的对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值