Windows下Python创建进程池的问题

最新推荐文章于 2023-09-15 10:31:56 发布

原创

最新推荐文章于 2023-09-15 10:31:56 发布 · 1.9k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #进程池

在Windows下使用Python的进程池时遇到一个问题，报错提示需要主进程。解决方法是在模块顶级定义函数，因为Pool的传入函数必须是顶级函数，才能在Queue中使用，避免在Windows环境下出现错误。

原文地址：https://www.jeremyjone.com/420/ ，转载请注明

很久没有用到进程池，今天公司项目需要大量进程，考虑使用进程池操作。其实很简单，几行代码就可以搞定，但是遇到了一个比较有意思的问题。之前写Python都是在Linux上，没有出现过，今天发现Windows上还是有一些区别。

我以为很简单，导包，创建，使用，结束。五行搞定。

from multiprocessing import Pool
pool = mp.Pool(processes=mp.cpu_count())
pool.map(__opFunc, dataList)
pool.close()
pool.join()

然后就悲剧的报错了：

PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

开始有点蒙，测试一下吧。。。我的测试代码：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小鹰丶

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python多进程Pool与Process区别，以及用Process实现Pool--part1

sinat_26566137的博客

01-06

3532

Python多进程Pool与Process主要区别（1）Process需要自己管理进程，起一个Process就是起一个新进程；（2）Pool是进程池，它可以开启固定数量的进程，然后将任务放到一个池子里，系统来调度多进程执行池子里的任务； Python中多进程主要是通过multiprocessing实现的,通过私有函数all查看，需带双下划线； import multiprocessing ...

windows系统下python进程管理系统

热门推荐

brucewong0516的博客

01-04

8万+

&amp;amp;amp;amp;amp;nbsp; &amp;amp;amp;amp;amp;nbsp; &amp;amp;amp;amp;amp;nbsp; &amp;amp;amp;amp;amp;nbsp;Multiprocessing.Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程

Python多进程编程

weixin_30532837的博客

04-30

246

序. multiprocessingpython中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式...

multiprocessing.Process，multiprocessing.Pool区别

Oops_newbie的博客

07-03

2016

1. 是否可以批量开启子进程multiprocessing.Process 无法批量开启子进程multiprocessing.Pool可以批量开启子进程p = Pool(2) p.map() / p.apply_sync() p.close() p.join() #或者用with方式 with Pool(2) as p: p.map() / p.apply_sync()2. 进程间通信mu...

Python多进程（process）（一）进程和进程池

09-15

2421

在Python中因为有GIL的原因，线程能提供的并发效果并不理想，Python在多核上如果要释放并发的性能，更多的依靠多进程，我们会比线程更深入的去学习多进程。进程（Process），顾名思义，就是进行中的程序。。进程是资源分配的最小单元，也就是说每个进程都有其单独的内存空间。Unix/Linux系统通过fork系统调用创建一个进程，但是在Windows中并没有fork调用。但是别担心，Python中内置的的，我们可以。

Python基于进程池实现多进程过程解析

09-16

在`if __name__ == '__main__':`下创建进程池是防止在Windows等操作系统中，子进程会再次导入主程序，从而引发无限递归的问题。 2. **多进程错误处理**：在多进程中，如果某个子进程发生错误，它不会阻塞其他进程...

Windows上的Python多进程

qq_43051923的博客

06-26

2038

Python Multiprocessing on Windows 因为众所周知的GIL(全局解释器锁)，在Python上实现真正的并发只能通过python multiprocessing。但是在Windows上，运用python multiprocessing并没有在Linux那么简单。 if __name__ == "__main__": 也许大家有些在Linux跑的很好的多进程的程序，在Windows上一跑就会经常遇到这些错误的信息 “An attempt has been made to start

对Python中创建进程的两种方式以及进程池详解

01-20

在Python中创建进程有两种方式，第一种是： from multiprocessing import Process import time def test(): while True: print('---test---') time.sleep(1) if __name__ == '__main__': p=Process(target=test...

multiprocessing process ，pool 基础使用方法

ijoanne

11-11

736

# -*- coding: UTF-8 -*- from multiprocessing import Process # multiprocessing 基于进程的并行 def work(name,job): print(f'{name}喜欢{job}') # 在 multiprocessing 中，通过创建一个 Process 对象然后调用它的 start() 方法来生成进程 if __name__ == '__main__': # __name__ 当前主进程 p = Proc.

multiprocessing之Process和Pool

jiabaoyu0001的博客

05-12

578

日常工作中可能会对同一个文件进行批量操作，但为了节省时间可能会想到多进程。但又会遇到一个问题：写入的内容比较混乱。下面以例子进行展示吧。 1.先来个常规的吧 from multiprocessing import Process import time def fun(x): call(x) def call(x): with open('t.txt','a')as f: f.write(str(x)) if __name__ == '__main__': f

python 进程池（multiprocessing.Pool）和线程池（threadpool.ThreadPool）的区别与实例

weixin_43692357的博客

01-07

8223

一般我们是通过动态创建子进程（或子线程）来实现并发服务器的，但是会存在这样一些缺点：　　1、动态创建进程（或线程）比较耗费时间，这将导致较慢的服务器响应。　　2、动态创建的子进程通常只用来为一个客户服务，这样导致了系统上产生大量的细微进程（或线程）。进程和线程间的切换将消耗大量CPU时间。　　3、动态创建的子进程是当前进程的完整映像，当前进程必须谨慎的管理其分配的文件描述符和堆内存等系...

python 多进程 multiprocessing pool vs processpoolexecutor

yang_daxia的博客

10-12

1848

其他：https://superfastpython.com/multiprocessing-pool-vs-processpoolexecutor/当数据量很大，建议用v2或者v3,v2和v1比多了进程调用的时间，好处是实时的写入了文件，而且用了tqdm记录时间。当数据很少时，用v1就可以了，因为调用进程只有一次，一次性写完。v3在数据量很大的时候是更快的方法，但是和v2比，v3写入的文件是乱序的。用了200000次用来测试，其实可以用2000个，这样可以更快。下面给出不同的写法，以及对比效果。

Python进程(Process,Pool)

qq_42784935的博客

10-01

3375

from multiprocessing import Process #导入Process模块 def test(): while True: print("---hello world---") time.sleep(1) p = Process(target=test) #创建对象 p.start() #让这个进程开始执行test函数里的代码 p.join() #堵塞。只...

python多进程multiprocessing使用，看这篇就够了(二)

qq_38120851的博客

01-20

1277

通过继承来创建子进程、创建进程池

python multiprocessing：多进程与进程池

学习笔记

07-02

506

python 多进程与进程池

python浅谈：多线程、多进程、协程

asd3331380的博客

12-28

407

转自：微点阅读（www.weidianyuedu.com）https://m.weidianyuedu.com 很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。同步首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中parse_1函数可以设定循环次数，每次循环将当前循环数（

Python 多进程multiprocessing模块, Process, 进程池Pool和Queue

zhuzuwei的博客

07-05

2万+

【Python】一分钟就能学会的多进程并发处理mutliprocessing

向往有那么一天梦幻的步态识别落地，开花❀！

10-09

1181

python中的多进程运行，速度能提高三倍左右，而且很简单，非常适合食用。