windows平台下的python的multiprocessing、ProcessPoolExecutor操作需要在if __name__ == ‘__main__‘代码块中进行

最新推荐文章于 2025-07-24 15:17:41 发布
原创 最新推荐文章于 2025-07-24 15:17:41 发布 · 437 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

文章讲述了在Python中使用multiprocessing模块时，特别是在Windows平台上，为何需要在主文件中加入`if__name__==__main__:`来调用进程。这是因为Windows不支持直接执行子模块中的代码，而Linux则允许。这个条件判断确保了在Windows上正确地启动进程。

例如一个模块 mylibrary.py

# mylibrary.py

from multiprocessing import Process

class MyProcess(Process):
    def run(self):
        print "Hello from the new process"

def foo():
    p = MyProcess()
    p.start()

你要在main.py 中引用这个模块

# main.py

import mylibrary

mylibrary.foo()

在Linux平台可以正常运行，但在windows平台上按照你预想的方式运行
需要 if name == ‘main’，像这样

import mylibrary

if __name__ == "__main__":
    mylibrary.foo()

具体原因可以参考：
https://stackoverflow.com/questions/14175348/why-does-pythons-multiprocessing-module-import-main-when-starting-a-new-pro

https://stackoverflow.com/questions/38801229/why-processpoolexecutor-on-windows-needs-main-guard-when-submitting-function

ldahual
关注
Python中使用多进程时if __name__ == ‘__main__‘ 在不同操作系统里的必要性
m0_63341362的博客
11-03 1202
代码如下： import multiprocessing def dance(): """跳舞""" print('The beauty is dancing') # if __name__ == '__main__': # 通过进程类创建进程对象 dance_process = multiprocessing.Process(target=dance) # 启动子进程 dance_pr
使用Multiprocessing模块创建子进程，需要放到__main__中
大龄程序员
03-18 1588
在Python中，使用模块创建子进程时，将创建子进程的代码放在。
在Python多处理.Process中，是否必须使用`__name__==__main__`？
07-02 393
在处理多个进程（`multiprocessing.Process`）时，确实使用`if __name__ == '__main__':`是一个常见的做法，这是因为当脚本作为主程序运行时，我们希望创建并启动各个进程；在`if __name__ == '__main__':`块内部，我们创建和启动了这些进程。如果你的应用场景是创建多进程进行数据处理，并且希望在主进程中初始化资源（如数据库连接），而在子进程中执行具体的任务，那么使用`if __name__ == '__main__':`是非常必要的。
Python并行计算
学习笔记
10-26 482
多进程 在python中使用multiprocessing时，multiprocessing.Pool必须写在if __name__ == '__main__':下，否则会报错。不是很实用。 import multiprocessing def fun(p): print(p) return p[0], p[1] def do_something(x): v = pow(x...
python多进程
吕秀军的博客
07-07 656
1、基本创建 import multiprocessing as mp import threading as td def job(a,b): print(a,b) def main(): p1 = mp.Process(target=job,args=(1,2))    #必须在主函数写 p1.start() p1.joi
Python在Window中使用multiprocessing模块
qq_37648632的博客
07-30 2531
在Linux中创建进程可以使用fork函数，但是在windows中不能实现，但是这就不能满足python的跨平台性。于是有了multiprocessing模块来解决这个问题。 在使用 multiprocessing 模块的时候，会出现各种错误，是由于window对多进程处理的问题，必须在创建子进程的语句   p = Process(target=test)  前面加上   if __nam...
python 多进程编程（1） multiprocessing 函数方式实现子进程
weixin_44415561的博客
06-22 405
使用multiprocessing库创建子进程 from multiprocessing import Process import time def pick_cat(): print("捡了一只猫") if __name__ == "__main__": p = Process(target=jian_cat) p.start() while True: time.sleep(2) from multiprocessing import Proce
Python程序入口 __name__ == ‘__main__‘ 有重要功能（多线程）而非编程习惯
m0_67575344的博客
04-25 4738
文章来源于互联网（https://jq.qq.com/?_wv=1027&k=rX9CWKg4） 在Python中，被称为「程序的入口」的 if name ==‘main’: 总是出现在各种示例代码中，有一种流传广泛的错误观点是「这只是Python的一种编码习惯」。事实上程序的入口非常有用，绝非可有可无，例如在Python自带的多线程库要求必须把主进程写在 if入口内部才能正常运行。 直接写在Python最左端没有缩进的代码，在这个 *.py 文件被直接运行、或者被调用时会被执行，只有写在 if n
在大型Python项目中，`if __name__ == '__main__'`的使用有哪些最佳实践？
最新发布
11-28
在使用多进程或多线程时，将并行处理的代码放在 `if __name__ == '__main__':` 块中，避免多进程环境下的递归调用问题。例如： ```python import multiprocessing def worker(num): return num * 2 if __name__ =...
multiprocessing 模块及其底层机制 spawn_main 在大模型应用中的场景
qq_54655817的博客
07-24 585
模块及其底层机制spawn_main在大模型应用及服务中扮演着关键角色，尤其在分布式计算、资源隔离和服务部署等场景。
python 多进程 multiprocessing pool vs processpoolexecutor
yang_daxia的博客
10-12 1849
其他：https://superfastpython.com/multiprocessing-pool-vs-processpoolexecutor/当数据量很大，建议用v2或者v3,v2和v1比多了进程调用的时间，好处是实时的写入了文件，而且用了tqdm记录时间。当数据很少时，用v1就可以了，因为调用进程只有 一次，一次性写完。v3在数据量很大的时候是更快的方法，但是和v2比，v3写入的文件是乱序的。用了200000次用来测试，其实可以用2000个，这样可以更快。下面给出不同的写法，以及对比效果。
为什么开启子进程 一定要放在 if __name__ == '__main__' 下面
weixin_30685047的博客
11-07 291
转载于:https://www.cnblogs.com/TF511/p/9925645.html
Python多进程ProcessPoolExecutor与multiprocessing
ithongchou的博客
07-28 626
在Python中，多进程编程是一种利用多核处理器并行执行任务的方式，它可以显著提升程序的性能，特别是对于CPU密集型的任务。相比，它提供更细粒度的控制和更多的底层功能，比如进程间的通信和同步。在选择使用时，可以根据具体需求和项目复杂度来决定使用哪种方式。是Python标准库提供的模块，用于支持多进程编程。提供了实现多进程编程的工具。然后，我们可以创建一个。
python之ProcessPoolExecutor
weixin_30682415的博客
10-05 1390
ProcessPoolExecutor使用上基本与ThreadPoolExecutor一致不过在windows上使用，有个问题需要注意。使用不当会出现如下错误 File "...\lib\multiprocessing\spawn.py", line 137, in _check_not_importing_main is not going to be frozen to pro...
线程池和进程池的通用写法 ProcessPoolExecutor 和 ThreadPoolExecutor
weixin_34221036的博客
01-14 200
import time from comcurrent.futures import ThreadPoolExecutor,ProcessPoolExccoutor#这个方法可以用进程池或者线程池 def f1(i): 　　print(i) 　　time.sleep(2) if __name__ == '__main__': 　　tp = ThreadPoolExecutor(4)#指...
（python加速）轻松学会多进程处理ProcessPoolExecutor
qq_43391414的博客
05-02 4126
文章目录前言判断素数ProcessPoolExecutoras_completedmap 前言 这个东西对于一些循环重复的操作，可以让你的程序加速好几倍，如果再加上编译的话，就更快了。所以，赶紧学起来吧。 判断素数 前言中的场景如下：我们需要判断100个数是否为素数，判断一个是否为素数的代码如下： def is_prime(n): if n < 2: return False if n == 2: return True if n % 2 ==
1 - 进程 - Windows 10 - Python - multiprocessing - 简单多进程切换、进程传参、异步进程、守护进程(进程睡眠/堵塞和线程堵塞的区别)、主/子进程区分
Muxiu
04-18 2819
目录一、单进程二、多进程的实现三、多进程传参四、获取多进程 id 编号五、主进程会等待所有的子进程执行结束再结束。六、设置守护进程，当主进程结束时，子进程也不再继续执行，直接结束。七、关于多进程必须加上 `if __name__ == "__main__"` 的理由(进程区分)：八、Jupyter Notebook 与 进程区分的关联九、关于多进程与GPU的关系 一、单进程 一般来说我们运行可执行文件，如脚本文件等，就相当于是在运行一个进程，系统会自动分配资源给这个文件运行，而这个进程就是父进程，或者说是
Python并发编程之线程池与ThreadPoolExecutor探究
QinZheng7575的博客
03-04 551
线程池ThreadPoolExecutor 系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。 线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它。当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待执行下一个函数。 此外，使用线程池可以有效地控制系统中并发线程的数量。当系统中包含有大量的并发线程
在ubuntu20.04LTS上安装anaconda报错concurrent.futures.process._RemoteTraceback
qq_41929417的博客
08-01 6236
报错信息如下 concurrent.futures.process._RemoteTraceback: ''' Traceback (most recent call last): File "concurrent/futures/process.py", line 367, in _queue_management_worker File "multiprocessing/connection.py", line 25
if __name__ == "__main__":
09-30
<think>我们正在讨论Python中的`if __name__ == "__main__":`结构。根据提供的引用，我们可以总结如下： 含义： - 在Python中，`__name__`是一个内置变量，用于表示当前模块的名字。 - 当一个模块被直接运行时，其`__name__`被设置为字符串`"__main__"`。 - 当一个模块被导入到其他模块时，其`__name__`则被设置为该模块的文件名（不含.py扩展名）。 作用： - 使用`if __name__ == "__main__":`可以控制代码的执行方式，使得模块中的某些代码块只在直接运行该模块时执行，而在被导入时不执行。 使用场景： 1. 模块测试：当我们在编写一个模块时，可能会在模块底部添加一些测试代码。使用这个结构可以确保在模块被导入时不会运行测试代码，而直接运行模块时则会运行。 2. 避免在导入时执行不必要的代码：特别是当模块中包含一些执行耗时操作或者有副作用的代码（如创建文件、启动服务器等）时，如果不加这个判断，导入模块就会执行这些操作，这通常不是我们想要的。 3. 在编写多进程程序时（如使用`multiprocessing`模块），在Windows系统上，由于创建子进程的方式不同，必须将主模块的代码放在`if __name__ == "__main__":`之下，以避免子进程无限递归创建新进程。 示例代码： 假设我们有一个名为`example.py`的模块： ```python # example.py def my_function(): print("This is a function in the module.") # 下面的代码只有在直接运行这个模块时才会执行 if __name__ == "__main__": print("This will run only when example.py is executed directly.") my_function() # 调用函数进行测试 ``` 当我们在命令行直接运行`python example.py`时，输出： ``` This will run only when example.py is executed directly. This is a function in the module. ``` 但是，如果我们在另一个脚本中导入`example`模块： ```python # another_script.py import example example.my_function() ``` 则输出只有： ``` This is a function in the module. ``` 注意：在导入时，`example`模块中的`if __name__ == "__main__":`块内的代码不会执行，因此不会打印出第一条信息。 总结：`if __name__ == "__main__":`是Python中用于控制代码执行范围的常用结构，它使得模块既可以作为脚本独立运行，也可以被其他模块导入使用，提高了代码的复用性和模块化程度。 §§相关问题§§ 1. 为什么在Windows系统下使用`multiprocessing`模块时，必须将主模块的代码放在`if __name__ == "__main__":`下面？ 2. 除了`if __name__ == "__main__":`，还有其他方法可以控制模块在导入时不执行某些代码吗？ 3. 如何在一个模块中同时支持命令行参数和作为导入模块使用？ </think>### Python 中 `if __name__ == "__main__":` 详解 #### 1. 核心概念 每个 Python 模块都有一个内置的 `__name__` 属性： - **当模块直接运行时**：`__name__` 值为 `"__main__"` - **当模块被导入时**：`__name__` 值为模块文件名（如 `"my_module"`） 该结构的作用是创建**条件执行入口**，确保特定代码块仅在脚本直接运行时执行[^1][^2]。 #### 2. 主要作用 | 场景 | 行为 | 实际效果 | |------|------|----------| | 直接运行脚本 | 执行 `if` 块内代码 | 启动主程序逻辑 | | 模块被导入 | 跳过 `if` 块内代码 | 仅暴露函数/类，不执行操作 | #### 3. 关键用途 1. **模块测试** 在模块底部添加测试代码，导入时不触发： ```python def add(a, b): return a + b if __name__ == "__main__": # 仅直接运行时执行测试 print(add(2, 3)) # 输出 5 ``` 2. **避免副作用** 防止导入时意外执行初始化操作： ```python # config_loader.py def load_config(): print("Loading config...") # 导入时不触发 if __name__ == "__main__": load_config() # 直接运行时才加载 ``` 3. **多进程安全（关键！）** 使用 `multiprocessing` 时必须包含： ```python from multiprocessing import Process def worker(): print("Child process") if __name__ == "__main__": # Windows 系统必需！ p = Process(target=worker) p.start() ``` *否则在 Windows 下可能导致递归创建进程[^2]* 4. **创建命令行工具** 区分库模式和脚本模式： ```python # data_processor.py def process_data(file): ... # 数据处理逻辑 if __name__ == "__main__": import sys process_data(sys.argv[1]) # 直接运行时接受命令行参数 ``` #### 4. 典型代码结构 ```python # 模块级定义（导入时即存在） import libraries CONSTANT = 100 def utility_func(): ... class MyClass: ... # 主程序入口（仅直接运行时执行） if __name__ == "__main__": # 1. 解析命令行参数 # 2. 初始化配置 # 3. 调用核心函数 main() ``` #### 5. 最佳实践 - 始终在脚本底部使用该结构 - 保持 `if` 块内代码精简（通常调用 `main()` 函数） - 在模块文档中说明导入/执行方式 > **技术本质**：Python 解释器执行模块时，会初始化模块的 `__name__` 属性。直接运行时解释器将其设为 `"__main__"`，实现入口点的动态识别[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值