multiprocessing with ugly pickle

最新推荐文章于 2023-03-08 16:08:13 发布
原创 最新推荐文章于 2023-03-08 16:08:13 发布 · 794 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #GIL

本文探讨了Python中的并发编程，包括多进程与多线程的区别、全局解释器锁(GIL)的影响、并行处理中的序列化问题及解决方案。此外，还讨论了如何利用多核优势进行高效编程，并提供了使用Python多进程库进行并行编程的实际案例。

Q

  • Is multiprocessing the ultimate solution for concurrency?
  • What are the patterns of concurrent programs?

GIL issues

On multi-core machines, threads will race each other to get the GIL, which make the performance even worse.

Serialization

communication

Tutorials

Other reference

GIL

《Python进程间通信危机：用`multiprocessing`解决`pickle`序列化性能瓶颈》
itAred的博客
04-19 784
在高并发场景下，`multiprocessing`模块的进程间通信（IPC）速度受到`pickle`序列化的性能限制。面试官要求候选人分析问题并提出优化方案，候选人需在限定时间内通过优化序列化方式或使用更高效的IPC机制，解决性能瓶颈，同时确保代码的兼容性和可维护性。
python multiprocessing 报错cannot pickle ‘_io.TextTOWrapper‘ object
Python开发分享的博客
08-18 4346
这个问题主要是出在了在multiprocessing中，开新的process的时候有对象是一个 _io.TextIOWrapper，而这个类很大可能是你打开了一个文件并将其赋值给了一个变量同时该文件没有关上，那么这个变量就是一个 _io.TextIOWrapper 对象，且这个对象在multiprocessing中是不能被序列化的。解决方式是将变量 _io.TextIOWrapper 在 开新的process的时候关掉或者不共享。.........
使用Multiprocessing.process时出现PicklingError解决方法
weixin_45193154的博客
07-21 689
解决Multiprocessing.process传递request参数出现picklingerror的问题
31 Python 多进程-multiprocessing
忧桑的小兔子
01-15 4920
详细介绍了操作系统中的进程，Python中GIL对线程的限制以及Python与多进程。另外还介绍了Python中多进程编程模块-multiprocessing的使用，其中包括multiprocessing中每个类，函数的详细介绍，使用示例等。
多进程 (multiprocessing)
程永强
03-06 1240
多进程 (multiprocessing) 十分感谢廖雪峰老师的分享 (https://www.liaoxuefeng.com/)。 Unix/Linux 操作系统提供了一个 fork() 系统调用。普通的函数调用，调用一次，返回一次。fork() 调用一次，返回两次。操作系统自动把当前进程 (称为父进程) 复制了一份 (称为子进程)，分别在父进程和子进程内返回。 子进程永远返回 0，而父进程返回...
PHP参数--memory_limit
红尘炼炼心的博客
12-08 5224
官方描述： PHP: php.ini 核心配置选项说明 - Manual 配置修改： memory_limit 只是限制了每个 PHP 进程的内存使用上限，而不是为每个进程分配了固定的内存，并不会因为 memory_limit 设置过大，导致并发数降低。 当项目对内存使用要求比较高时，可适当提高memeory_limit的值，重启后生效。内存不足或超出配置最高上限，可能导致进程终止，无法继续运行。 memory_limit -1 //不需要内存限制 memory_limit 12
memory_limit 应该设置越大越好？
qq_43270687的博客
09-13 3108
memory_limit设置并不是越大越好，要根据应用程序的需要来设置，原则是memory_limit * 进程数不得超过机器总内存， 否则会导致启用磁盘 swap，资源耗尽，最后死机。 ...
使用 memory_limit 限制 PHP 进程的内存使用
lxw1844912514的博客
06-06 1万+
memory_limit 顾名思义，即限制 PHP 进程对于内存的使用。例如：magento2 的系统要求里有关于 PHP memory_limit 的限制，不能低于 512M。（默认值...
TypeError: cannot pickle ‘module‘ object
JingYi的专栏
03-08 6349
TypeError: cannot pickle 'module' object
Appium - multiprocessing.pool.MaybeEncodingError-【 “Can’t pickle local object ‘PoolManager.__init__....
weixin_34348174的博客
05-14 1428
公司同事学习自动化新装环境后，run多进程测试用例时出错： multiprocessing.pool.MaybeEncodingError: Error sending result: ’<appium.webdriver.webdriver.WebDriver (session=“261019ae-3776-4a78-aa2c-b24bb64ec62e”)>’. Reason: ’...
彻底解决 TypeError: cannot pickle ‘_thread.RLock‘ object ，以 PyTorch DDP 为例
热门推荐
LutingWang的博客
04-15 2万+
解决问题的思路是，首先找到导致序列化失败的对象，然后将其覆盖为一个正常对象。
Python3报错：TypeError: can't pickle _thread.RLock objects
songchunxiao1991的博客
11-22 1万+
在使用Keras框架，保存模型的时候，会遇到这样的错误： 原先保存模型的代码是： model_path = "./ResNet/" + args.model + '_{epoch:03d}.hdf5' checkpoints = ModelCheckpoint(model_path, monitor='val_loss', verbose=1, ...
python实现multi函数_python并行计算（上）：multiprocessing、multiprocess模块
weixin_39610721的博客
12-06 2208
由于python相当易学易用，现在python也较多地用于有大量的计算需求的任务。本文介绍几个并行模块，以及实现程序并行的入门技术。本文比较枯燥，主要是为后面上工程实例做铺垫。第一期介绍最常用的multiprocessing模块，以及multiprocess模块。python实现多进程的模块最常用的是multiprocessing，此外还有multiprocess、pathos、concurren...
python multiprocessing------PicklingError: Can't pickle
github_40094105的博客
02-12 1万+
http://bbs.chinaunix.net/thread-4111379-1-1.html import multiprocessing class someClass(object): def __init__(self): pass def f(self, x): return x*x def go(self): ...
python模块 - 序列化模块pickle
皮皮blog
04-27 1万+
http://blog.youkuaiyun.com/pipisorry python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。 基本接口： 　　pickle.dump(obj, file, [,protocol]) 　　注解
python 多进程multiprocessing 队列queue报错：AttributeError: Can't pickle local object
Dontla的博客
12-05 3442
今天，test-191204-单个摄像头调用multiprocessing线程队列queue识别时，报错： D:\20191031_tensorflow_yolov3\python\python.exe D:/20191031_tensorflow_yolov3/tensorflow-yolov3/test-191204-单个摄像头调用multiprocessing线程队列queue识别.py 2...
python3 PicklingError: Can't pickle <function <lambda> at......> attribute lookup <lambda> on __main
tpc4289的专栏
02-07 2万+
有皱纹的地方只表示微笑曾在那儿呆过。-------马克.吐温     在Unix/Linux下，multiprocessing模块封装了fork（）调用，是我们不需要关注fork（）的细节。由于windows没有fork调用，因此，multiprocessing需要“模拟”出fork的效果，父进程所有Python对象都必须通过pickle序列号再传到子进程中去。所以，如果multipro
python 并行计算 multiprocessing、multiprocess模块 简介
whatday的专栏
03-04 4934
目录 多进程才是真·并行 multiprocessing模块 1、创建子进程 2、进程间通信——数据共享 3、进程间通信——数据传递 4、锁（同步原语） 5、其他重要函数 multiprocess模块 实例（multiprocessing模块） （1）multiprocessing.Process() （2）multiprocessing.Pool()，apply方法 （3）multiprocessing.Pool()，apply_async方法 （4）multiprocessin
multiprocessing _pickle.PicklingError
最新发布
01-08
### 解决 Python `multiprocessing` 模块中的 `_pickle.PicklingError` 错误 在使用 Python 的 `multiprocessing` 模块时，可能会遇到 `_pickle.PicklingError` 错误。此错误通常发生在尝试通过进程池传递不可序列化的对象或函数时。 #### 原因分析 该错误的根本原因在于 Python 使用 pickle 库来序列化和反序列化工件以便跨不同进程传输数据。然而，并不是所有的 Python 对象都能被成功序列化。例如，在 Windows 上启动新进程的方式不同于 Unix 系统，这可能导致某些情况下出现 PicklingError[^3]。 #### 解决策略 ##### 1. 函数定义位置调整 确保要传递给子进程的目标函数是在顶层模块级别定义的，而不是嵌套在其他函数内部。这是因为只有顶级定义的对象才能被正确地 pickled 和 unpickled。 ```python def worker_function(x): # 正确做法：作为全局函数定义 return x * x ``` 而非： ```python def some_other_func(): def inner_worker(x): # 不推荐的做法：内联函数难以被序列化 return x * x with Pool() as p: result = p.map(inner_worker, range(10)) ``` ##### 2. 避免传递 lambda 表达式或其他匿名函数 Lambda 表达式同样不易于被序列化；因此应该避免将其直接用于多进程中。 ```python with Pool(processes=4) as pool: results = pool.map(lambda x: x ** 2, data_list) # 可能引发 PicklingError ``` 改为显式的命名函数形式: ```python def square_number(n): return n ** 2 with Pool(processes=4) as pool: results = pool.map(square_number, data_list) ``` ##### 3. 处理复杂类型的参数 对于复杂的自定义类实例或者其他可能不支持自动序列化的类型，则需手动提供其序列化逻辑或者寻找替代方案。 如果确实需要共享状态，考虑利用 Manager 类提供的代理对象来进行通信，比如列表、字典等容器结构。 ```python from multiprocessing import Process, Manager def update_dict(d, key, value): d[key] = value if __name__ == '__main__': manager = Manager() shared_dict = manager.dict() processes = [] for i in range(5): p = Process(target=update_dict, args=(shared_dict, f'key_{i}', i*i)) processes.append(p) p.start() for proc in processes: proc.join() print(shared_dict) ``` ##### 4. 修改入口脚本保护机制 (仅限 Windows) 为了防止潜在的问题发生，在 Windows 平台上应当始终将创建并启动新的工作线程/进程的操作放在 `if __name__ == "__main__":` 守护语句之后执行。 ```python import multiprocessing as mp def task(arg): pass if __name__ == '__main__': pool = mp.Pool() try: res = pool.map(task, iterable_args) finally: pool.close() pool.join() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值