Python并发编程双刃剑：submit()与map()方法深度抉择指南

最新推荐文章于 2025-04-22 14:57:46 发布
最新推荐文章于 2025-04-22 14:57:46 发布
阅读量146 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python Python题库 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/windowshht/article/details/145369904

Python并发编程双刃剑：submit()与map()方法深度抉择指南

引言：当任务提交成为艺术

在并发编程中，提交任务的方式直接决定程序性能和代码可维护性。submit()与map()这两个看似简单的方法，实则是concurrent.futures模块中最容易被低估的利器。本文将揭示它们的底层差异，通过性能测试数据与实战案例，教你像交响乐指挥家般精准调度并发任务。

一、核心机制对比：两种哲学的交锋

1.1 方法特性对照表
特性 submit() map()
返回类型 Future对象列表 结果迭代器
执行顺序 无序 有序
异常处理 逐个捕获 整体中断
内存占用 高（保留所有Future） 低（流式处理）
了解本专栏 订阅专栏 解锁全文 超级会员免费看
python-17-并行计算和分布式计算框架dask
qq_20466211的博客
07-31 5030
并行计算dask
python进程池、线程池
daxiashangxian的博客
01-21 617
取返回的结果，timeout为None，一直等待返回；取返回的异常，timeout为None，一直等待返回；池中至多创建max_workers个线程的池来同时异步执行，返回Executor实例、支持上下文，进入时返回自己，退出时调用。提交执行的函数及其参数，如有空闲开启daemon线程，返回Future类的实例。如果已经执行且不能取消返回False，否则返回True。如果调用被成功的取消或者执行完成，返回True。如果正在运行且不能被取消，返回True。如果调用被成功的取消，返回True。
流畅的Python(十七)-使用future处理并发
weixin_37901366的博客
03-06 1379
主要以三个模拟网络下载的代码-分别是依序下载、使用中的方法、以及使用该模块的和方法，来展示Python实现的其中一种方式。
python 线程池ThreadPoolExecutor
weixin_39451323的博客
08-17 3628
每个线程各分配一个任务，剩下的任务排队等待，当某个线程完成了任务的时候，排队任务就可以安排给这个线程继续执行，免于停的创建和销毁线程，这就是所谓的线程池 ThreadPoolExecutor 原理。...
python线程池的使用
wtt234的专栏
10-29 1273
线程池的基类是 concurrent.futures 模块中的 Executor，Executor 提供了两个子类，即 ThreadPoolExecutor 和 ProcessPoolExecutor，其中 ThreadPoolExecutor 用于创建线程池，而 ProcessPoolExecutor 用于创建进程池。 如果使用线程池/进程池来管理并发编程，那么只要将相应的 task 函数提交给线程池/进程池，剩下的事情就由线程池/进程池来搞定。 Exectuor 提供了如下常用方法： 1.sub.
python基础-进程池、submit同异步调用、shutdown参数、ProcessPoolExecutor进程池、进程池ftp
热门推荐
全干工程师
11-30 2万+
引入进程池 使用ProcessPoolExecutor进程池 使用shutdown 使用submit同步调用 使用submit异步调用引入进程池在学习线程池之前，我们先看一个例子from multiprocessing import Process import time def task(name): print("name",name) time.sleep(1)if __n
python concurrent.futures模块并发，实现进程池、线程池
wto882dim的博客
03-13 695
使用concurrent.futures模块并发，实现进程池、线程池 阅读目录(Content) 一、关于concurrent.futures模块 二、submit()方法实现进程池/线程池 进程池 线程池 三、回调函数 四、map方法 回到顶部(go to top) 一、关于concurrent.futures模块 Python标准库为我们提供了threading和m...
【python高阶编程】python线程池简单应用
Heney33的博客
04-29 5017
python线程池
记忆碎片之python线程池、submit()、done()、result()、wait()、as_completed()、map()方法
Python_DJ的博客
03-30 6111
大量注释，小白一看就懂的多线程及参数使用 threadpool已经不再是主流，但是对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控，例如，整站爬虫，假设初始只有一个链接a，那么，这个时候只启动一个线程，运行之后，得到这个链接对应页面上的b，c，d，，，等等新的链接，作为新任务，这个时候，就要为这些新的链接生成新的线程，线程数量暴涨。在之后的运行中，线程数量还会不停的...
concurrent.futures 的 ThreadPoolExecutor 与 ProcessPoolExecutor：submit 与 map 分别的使用场景
最新发布
rock---you的博客
04-22 875
更适合简单、结果顺序无关紧要的批处理。更适合需要结果立刻处理、错误控制更细、进度监控的复杂并发任务。只不过你就不能边等边处理了。想更快看到结果，就是更好选择。更多文章:python3: ThreadPoolExcutor与threading， ProcessPoolExecutor与multiprocessing.Pool 分别有什么区别。
python学习笔记之多线程练习ThreadPoolExecutor,map,submit
紫微斗数象法奥义ZWDStudy
12-25 2077
主要练习了ThreadPoolExecutor,map和submit的区别,推荐使用submit更灵活。
一文讲透Python线程池ThreadPoolExecutor！
2401_84140547的博客
04-27 1343
Python中已经有了threading模块，为什么还需要线程池呢，线程池又是什么东西呢？在介绍线程同步的信号量机制的时候，举得例子是爬虫的例子，需要控制同时爬取的线程数，例子中创建了20个线程，而同时只允许3个线程在运行，但是20个线程都需要创建和销毁，线程的创建是需要消耗系统资源的，有没有更好的方案呢？其实只需要三个线程就行了，每个线程各分配一个任务，剩下的任务排队等待，当某个线程完成了任务的时候，排队任务就可以安排给这个线程继续执行。
python多任务【一】- 线程
Rnan_prince的博客
12-05 944
python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用 1. 使用threading模块 单线程执行 # coding=utf-8 import time def say_sorry(): print("嗨，你好！我能帮助你吗？") time.sleep(1) if __name__ == "__main__": for i in range(5): say_sorry(
python进阶08并发之四map, apply, map_async, apply_async差异
江州司马
05-24 6947
原创博客地址：python进阶08并发之四map, apply, map_async, apply_async差异 差异矩阵 python封装了4种常用方法，用于实现并发 其差异如下 Multi-args Concurrence Blocking Ordered-results map no yes yes yes apply yes no yes no map_async no yes no ..
Python3之concurrent.futures的map方法，回调函数应用（important）
Quincy.Coder的博客
08-31 5320
map用法代码演示from concurrent.futures import ThreadPoolExecutor def deal_num(n): return n ** 2 if __name__ == '__main__': t = ThreadPoolExecutor() # for i in range(10): # t.submit(deal_n
python中的线程池submit应用
qq_40723809的博客
01-21 1万+
代码描述: _thread, threading, multiprocessing 池子， 只放制定个线程(10个线程), 线程池里面的线程越多越好? import time def timeit(f): def wrapper(*args, **kwargs): start_time = time.time() res = f(*args, **kwarg...
spark2-submit提交python任务
Yuan_CSDF的博客
08-17 7483
提交python文件，遇到的难点是python文件缺乏运行所需要的依赖模块。 python3-mpipinstallxx 我使用的是将anaconda打包放在HDFS上。 基础是已经有同事在linux服务器上安装好了anaconda2，很方便。 首先是将文件夹，打包成zip格式: zip -r anaconda2.zip anaconda2。然后上传文件至HDFS服务器。 对于...
[python]map方法与并行执行
moxiaomomo的专栏
08-10 1万+
文章也可参考: 我的个人博客1. 内建方法map内建map方法可以通过一个序列的方式来实现函数之间的映射, 并且串行执行。如:import time from datetime import datetimedef add(x, y): print(datetime.now(), "enter add func...") time.sleep(2) print(datetim
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清水白石008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值