python多进程中传递变量

最新推荐文章于 2024-10-28 08:20:50 发布
最新推荐文章于 2024-10-28 08:20:50 发布
阅读量4.6k 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/J_Object/article/details/79747642
本文探讨了在Python多进程中对象拷贝的问题，指出多进程间传递的是对象的深拷贝而非浅拷贝，这对于理解多进程编程尤为重要。文章通过实际案例——使用openpyxl进行Excel文件的异步写入——解释了为何多进程不一定能提高此类任务的效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一句话，多进程传递的不是内存中的地址（浅拷贝），而是特码的整个对象（深拷贝），如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧

遇到这个问题是对excel文件使用openpyxl写入的时候，希望能实现异步写入，使用协程发现没效果，初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘，并不是像网络请求那样，一个请求发出去cpu基本就不干活了，就处于接收响应的状态，所以同理，写入既然还是在使用cpu那多线程也凉了，毕竟GIL锁，使用多进程的时候，由于定义了很多全局变量，一个个去共享太麻烦，然后就偷懒只把写入函数另启进程去执行，结果发现，执行起来比正常单进程还慢，使用id函数查看了下两个对象内存中地址才发现，两个已经是不同的对象了，几万条数据的copy，再慢几秒也情有可原

Pcject
关注
Python多进程共享变量
HackNebulaZ的博客
09-19 576
在并发编程中，多进程是一种常见的方式，可以充分利用多核处理器的能力来提高程序的性能。然而，当多个进程同时访问和修改共享的变量时，就会产生竞争条件（Race Condition），导致程序的结果不确定或者出现错误。通过使用这些类，可以在多个进程之间安全地共享变量，并避免竞争条件的发生。需要注意的是，在多进程共享变量的过程中，由于进程之间是独立的，所以对共享变量的修改不会反映到其他进程中。然后，我们创建了5个进程，每个进程通过循环遍历数组，并将数组中的每个元素加1。为了实现多进程间的变量共享，我们可以使用。
Python多进程间用共享内存，共享自定义变量 的办法(不用manager)
qq_43137565的博客
11-21 3926
Python多进程间，共享python自定义变量 的办法 python多任务是个痛点，因为GIL的存在，multi_thread名存实亡非常渣，multiProcess虽然提供可用的方案，实际上也不怎么样，共享c_type变量还行，但是共享一个python自定义类型变量还需要第三方manage进程做中转，而且如果是大数据共享，只有在linux下利用创建新线程时候的fork和COW(写时拷贝)机制，...
Python 进程之间共享数据
dati4434的博客
03-13 1163
　　最近遇到多进程共享数据的问题，到网上查了有几篇博客写的蛮好的，记录下来方便以后查看。 一、Python multiprocessing 跨进程对象共享 　　在mp库当中，跨进程对象共享有三种方式，第一种仅适用于原生机器类型，即python.ctypes当中的类型，这种在mp库的文档当中称为shared memory方式，即通过共享内存共享对象；另外一种称之为server pr...
python 多进程共享全局变量之Manager()详解
09-18
主要介绍了python 多进程共享全局变量之Manager()详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python 多进程中的变量问题.
springtostring的博客
05-04 1446
最近写python程序，发现python的for循环太慢了，希望能通过多进程加速，加快程序速度。 程序功能：期望把每一次循环的结果都保存在一个字典dict里，但是实际输出发现字典是空的，程序功能类似如下： import torch import torch.nn as nn import time import multiprocessing MP = {} def putone(x): a,b=x[0],x[1] b[a]=2*a MP[a] = 2*a if __nam
python多进程共享变量
zwz_home的专栏
05-15 985
https://www.cnblogs.com/lsdb/p/10815319.html https://blog.youkuaiyun.com/houyanhua1/article/details/78244288/
在多个工作进程之间共享Python对象
最新发布
10-28 681
我们可以使用`multiprocessing`库来创建多个工作进程，每个进程负责训练一个特定的模型。在Python中，我们可以使用`multiprocessing`库来创建多个工作进程，并在这些进程中共享Python对象。在这个例子中，我们创建了一个字典和列表，然后在两个工作进程中修改它们。在这个测试用例中，我们创建了一个共享的字典和列表，然后在两个工作进程中修改它们。# 使用Manager来创建一个共享的数据结构，这样可以在多个工作进程中同时修改它。# 在主进程中，我们可以访问这些共享的对象。
Python进程，多进程，获取进程id，给子进程传递参数操作示例
12-25
本文实例讲述了Python进程，多进程，获取进程id，给子进程传递参数操作。分享给大家供大家参考，具体如下： 线程与线程之间共享全局变量，进程之间不能共享全局变量。 进程与进程相互独立 (可以通过socket套接字...
python multiprocessing多进程变量共享与加锁的实现
09-18
本文将深入探讨如何在Python的`multiprocessing`中实现多进程变量的共享以及加锁机制。 首先，让我们来看看如何使用`multiprocessing.Value`来在不同进程中同步变量。`Value`类允许我们在不同的进程中创建和共享一...
python多进程访问多个摄像头
12-20
在Python编程中，多进程是一种常见的并发执行方式，尤其在处理资源密集型任务时，如访问多个摄像头。本文将深入探讨如何使用Python的多进程和OpenCV库来同时读取和处理多个摄像头的视频流。 首先，我们看到代码中...
Python使用多进程运行含有任意个参数的函数
09-16
主要介绍了Python使用多进程运行含有任意个参数的函数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
CompletableFuture类总结)
java
09-24 393
CompletableFuture类总结 ```java public class CompletableFuture<T> implements Future<T>, CompletionStage<T> { // 1、创建一个异步操作:无返回值 public static CompletableFuture<Void> runAsync(Runnable runnable); public static CompletableFutur
关于python3 multiprocessing Pool进程池传参队列multiprocessing Queue的问题
Jack_Zhao_的博客
09-14 1656
在使用线程池进行多进程的时候，传入Queue去做进程中的通信的时候发现，子进程没有运行就退出了，比如如下写： from multiprocessing import Pool, Queue def test(q): print("start") while not q.empty(): value = q.get() print('Get %s from queue.' % value) if __name__=='__main__': q =
1 - 进程 - Windows 10 - Python - multiprocessing - 简单多进程切换、进程传参、异步进程、守护进程(进程睡眠/堵塞和线程堵塞的区别)、主/子进程区分
Muxiu
04-18 2769
目录一、单进程二、多进程的实现三、多进程传参四、获取多进程 id 编号五、主进程会等待所有的子进程执行结束再结束。六、设置守护进程，当主进程结束时，子进程也不再继续执行，直接结束。七、关于多进程必须加上 `if __name__ == "__main__"` 的理由(进程区分)：八、Jupyter Notebook 与 进程区分的关联九、关于多进程与GPU的关系 一、单进程 一般来说我们运行可执行文件，如脚本文件等，就相当于是在运行一个进程，系统会自动分配资源给这个文件运行，而这个进程就是父进程，或者说是
python多进程中共享的全局变量
AI创世纪的博客
08-31 2135
python多进程中使用全局变量是可行的，可以使用multiprocessing模块中的Manager类来实现。不过，在多进程中直接修改共享变量是存在问题的，因为多个进程同时读写同一个变量会出现数据竞争和同步问题。但在多进程的情况下，因为每个进程都拥有独立的内存空间，所以不能直接使用Python中的全局变量来共享数据。但是，由于线程和进程的特点不同，以及GIL（全局解释器锁）的存在，线程共享全局变量的安全问题比进程更为复杂。因此，在多进程的场景中，如果需要共享数据，就需要考虑进程间数据的同步和共享。
Python 多进程之间共享变量
AI创世纪的博客
09-01 965
Python 多线程之间共享变量很简单，直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元，这种方法就不可行了。不过 Python 标准库已经给我们提供了这样的能力，使用起来也很简单。但要分两种情况来看，一种是 Process 多进程，一种是 Pool 进程池的方式。
Python多进程共享变量实现方法
python学习者的博客
03-02 3344
一、错误的实现方式 最初以为是没添加global声明导致修改未生效，但实际操作发现global方式在多进程中也只能读不能写。错误示例代码如下： import multiprocessing # 声明一个全局变量 share_var = ["start flag"] def sub_process(process_name): # 企图像单个进程那样通过global声明使用全局变量 global share_var share_var.append(process_name)
Python 多进程pool.map()方法的使用
热门推荐
菜鸡小白的成长记录
08-05 3万+
在python中，只有多进程才可以充分利用CPU的资源，适合CPU计算型任务，其他的就不多说了。这里介绍一个 pool.map（）方法，很实用！ pool.map() 先直接上代码： import time from multiprocessing.pool import Pool def numsCheng(i): return i * 2 if __name__ == '__main__': time1 = time.time() nums_list = [1, 2, 3,
python多进程共享全局变量
05-11
在Python中，多个进程之间的内存空间是相互独立的，因此默认情况下不能直接共享全局变量。但是，Python提供了一些方法来实现多进程共享全局变量： 1. 使用共享内存：Python中有一个multiprocessing模块，其中有一个Value和Array对象，可以用来创建共享内存。Value对象用于创建一个单一的共享变量，而Array对象可以用于创建一个数组。 2. 使用进程池：可以使用multiprocessing.Pool对象来创建进程池，然后使用map()或apply()方法将共享变量作为参数传递给进程池中的进程。 3. 使用队列：可以使用multiprocessing.Queue对象来创建一个进程间通信的队列，通过向队列中添加数据来共享变量。 以下是一个使用共享内存的示例代码： ```python import multiprocessing def worker(num, arr): arr[num] = num * num if __name__ == '__main__': arr = multiprocessing.Array('i', range(10)) processes = [] for i in range(10): p = multiprocessing.Process(target=worker, args=(i, arr)) processes.append(p) p.start() for p in processes: p.join() print(arr[:]) ``` 在上面的代码中，我们创建了一个长度为10的数组arr，并将其传递给多个进程进行修改。每个进程将数组中的值平方，并将结果保存回数组。最后，我们打印出了修改后的数组。 需要注意的是，由于多个进程同时访问共享内存，可能会出现竞争条件和死锁等问题，因此在使用共享内存时需要格外小心。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值