python多线程协程同步异步系列

已于 2024-11-11 20:59:42 修改
阅读量309 收藏
点赞数 2
文章标签： python 协程异步多线程
于 2024-11-11 18:32:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Climbman/article/details/143692299
版权

python协程系列（一）——生成器generator以及yield表达式详解
python协程系列（二）——python协程的通俗理解以及使用yield关键字实现协程
python协程系列（三）——yield from原理详解
python协程系列（四）——同步/异步、并发/并行、线程/进程
python协程系列（五）——asyncio的核心概念与基本架构
python协程系列（六）——asyncio的EventLoop以及Future详解
python协程系列（七）——asyncio结合多线程解决阻塞问题以及timer模拟
深入详解python高级特性——函数柯里化（Currying）与反柯里化
（1）python的高阶函数
（2）python的装饰器本质
（3）Python的functools模块里面的偏函数的本质

学习3人组
关注
【Python进阶】协程和异步 IO
风口IT猪的成长录
09-02 853
协程和异步 IO1. 协程的概念2. yield 的使用3. send 发送数据4. 异步 IO（ asyncio） 协程5. asyncio6. 定义一个协程7. 创建一个 task8. 绑定回调9. future 与 result10. 阻塞和 await11. 并发和并行12. 协程嵌套13. 协程停止 1. 协程的概念 协程，又称微线程，纤程。英文名 Coroutine，是一种用户态的轻量级线程。 子程序，或者称为函数，在所有语言中都是层级调用，比如 A 调用 B，B 在执行过程 中又调用了 C，C
31_线程执行的顺序?
aofengchuang的博客
09-08 357
1.当线程数小于核心线程数时， 会一直创建线程直到线程数等于核心线程数； 2.当线程数等于核心线程数时， 新加入的任务会被放到任务队列等待执行； 3.当任务队列已满， 又有新的任务时，会创建线程直到线程数量等于最大线程数； 4.当线程数等于最大线程数， 且任务队列已满时，新加入任务会被拒绝。 1.当线程数小于核心线程数时，会一直创建线程直到线程数等于核心线程数； 2.当线程数等于核心线程数时，新加入的任务会被放到任务队列等待执行； 3.当任务队列已满，又有新的任务时，会创建线程直到线程数量
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 2120
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
Python的线程、进程与协程
Thomas_Cai的记忆殿堂
03-25 1135
进程：进程是操作系统分配资源的基本单位，每个进程都有独立的内存空间，包含代码、数据和系统资源。进程之间相互隔离，一个进程崩溃不会影响其他进程。线程：线程是进程内的执行单元，一个进程可以包含多个线程。线程共享进程的内存空间和资源，因此线程间的通信比进程间更高效，但也更容易出现数据竞争等问题。
python中的进程线程和协程
ximu__l的博客
04-30 1925
介绍了进程、线程和协程，并通过实例对三种操作进行了展示，最后说明了适合三种并发操作方式的相应场景和任务。
Python高性能计算：进程、线程、协程、并发、并行、同步、异步
博客简介
08-02 987
并发(concurrency)：指在同一时刻只能有一条指令执行，但多个进程指令被快速的轮换执行，使得在宏观上具有多个进程同时执行的效果，但在微观上并不是同时执行的，只是把时间分成若干段，使多个进程快速交替的执行。并行在多处理器系统中存在，而并发可以在单处理器和多处理器系统中都存在，并发能够在单处理器系统中存在是因为并发是并行的假象，并行要求程序能够同时执行多个操作，而并发只是要求程序假装同时执行多个操作（每个小时间片执行一个操作，多个操作快速切换执行）。所以无论从微观还是从宏观来看，二者都是一起执行的。
python的协程异步
hjc_042043的博客
05-23 1236
在我们的程序执行过程中，IO 是我们最大的瓶颈。在示例1中只是两个协程任务，如果写任务有N个，那么这样子就不方便了，所以我们可以将多个任务放进任务列表，就像最上面的那个事件循环中的伪代码一样，可以将上面的示例1进行改造。asyncio.wait 方法，则返回的是一个元祖，有两个返回值，done是已经完成的任务，pending 表示还未完成的任务，这两个都是集合类型。但如果是 I/O 密集型的，协程因为不能利用多核的能力，那么它就不能应付了，所以得使用多核的能力，比如是"多进程/多线程+协程"的方案来处理。
python进程线程协程区别_python并发之多进程、多线程、协程和异步
weixin_39920338的博客
11-24 100
标签：一、多线程二、协程（又称微线程，纤程）协程，与线程的抢占式调度不同，它是协作式调度。协程在python中可以由generator来实现。首先要对生成器和yield有一个扎实的理解.调用一个普通的python函数，一般是从函数的第一行代码开始执行，结束于return语句、异常或者函数执行（也可以认为是隐式地返回了None）。一旦函数将控制权交还给调用者，就意味着全部结束。而有时可以创建能产生一...
python进程线程协程区别_进程和线程、协程的区别
weixin_39717865的博客
11-24 785
现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，py web框架tornado中也用了gevent封装好的协程。本文主要介绍进程、线程和协程三者之间的区别。一、概念1、进程进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间，不同进程通过进程间通信来通信。由于进程比较...
Python之进程+线程+协程（异步、selectors模块、阻塞、非阻塞IO）
12-21
虽然线程之间能快速交换数据，但由于GIL（全局解释器锁）的存在，Python的多线程在CPU密集型任务中并不能实现真正的并行计算，但在IO密集型任务中，由于线程切换，依然可以提高效率。 三、协程 协程是一种轻量级的...
对Python协程之异步同步的区别详解
09-19
在Python编程中，协程、异步和同步是并发处理中的关键概念，它们关系到程序的执行效率和资源利用率。本文将深入探讨这些概念的区别。 首先，同步与异步主要涉及的是程序处理输入/输出（I/O）操作时的方式。在同步...
Python实现基于协程的异步爬虫.zip
04-29
Python实现基于协程的异步爬虫技术是近年来随着Python语言和网络爬虫技术的发展而新兴的一种高效爬虫方法。协程是一种用户态的轻量级线程，其主要优势在于可以以非常低的系统资源消耗实现高并发。在Python中，协程的...
使用 `\033` 方式设置终端字体颜色
程序员黄老师的精品课！
05-30 364
ANSI 转义序列是一组特殊的字符序列，用于控制终端的显示属性，如颜色、光标位置等序列通常以\033[开始，后跟一个或多个参数，最后以m结束。
Java 中实现线程的创建和启动
2301_80215285的博客
06-04 566
在Java中，创建线程和启动线程是两个关键步骤。必须调用start()而非直接调用run()，因为start()会触发JVM创建新的调用栈并交由操作系统管理，实现真正的异步执行。直接调用run()仅会在当前线程同步执行方法。start()使线程进入可运行状态，符合线程生命周期规范，并能利用多核CPU实现并行计算。正确区分两者对多线程编程至关重要，只有通过start()才能发挥线程的并发优势。
PAT-乙级JAVA题解(更新中...)
qq_49695680的博客
06-04 126
NSSCTF [LitCTF 2025]test_your_nc
2401_88087539的博客
06-03 223
pwn新手小白，写完题后整理的一点点思路，有借鉴其他wp，有任何问题各位师傅可以提出，接收批评指正
Python 验证码识别(使用pytesseract库)
宁静致远
06-01 609
Tesseract是一个高度精确的开源OCR（光学字符识别）系统，广泛应用于文本识别项目中。结合Python的pytesseract库，实现图片文字的提取。
Java BigInteger类详解与应用
m0_74482103的博客
05-31 954
通过合理运用BigInteger类，开发者可以处理任意精度的整数运算需求，适用于金融计算、密码学、科学计算等领域。注意根据具体场景选择合适的方法，并做好异常处理与性能优化。Biglnteger b1 = new Biglnteger("整数");2.如何获取BigInteger的对象?总结：1.Biglnteger表示一个大整数。
使用C++调用python库
最新发布
Ring__Rain的博客
06-04 85
1、将A电脑的"D:\Python\Python310"文件夹，直接拷贝到"D:\Python\Python310"；1、先安装python310的安装包；安装到"D:\Python\Python310"注意：记住要在path的前面，前面不能有其他路径的python，后面有无所谓；注意：记住要在path的前面，前面不能有其他路径的python，后面有无所谓；2、 配置系统环境变量；2、配置系统环境变量；如果运行代码报错：则执行下面的操作；
python 协程库 同步异步
05-16
### Python 协程库中同步与异步的使用方法及原理 #### 一、`asyncio` 库简介 `asyncio` 是 Python 自带的一个标准库，自 Python 3.4 开始被引入[^2]。它主要用于编写单线程并发代码，基于协程的概念实现了异步 I/O 操作的支持。 --- #### 二、同步与异步的区别 - **同步**：程序按照顺序依次执行每一步操作，在某一时刻只有一个任务在运行。如果某个任务涉及长时间的 I/O 操作（如网络请求），整个程序会被阻塞直到该操作完成。 - **异步**：允许多个任务在同一时间段内交替执行。当某一个任务因 I/O 操作而暂停时，其他任务可以继续运行，从而提高效率[^4]。 --- #### 三、`asyncio` 的核心概念 1. **事件循环 (`Event Loop`)** `asyncio` 提供了一个事件循环机制，负责调度和管理所有的异步任务。通过调用 `loop.run_until_complete()` 或者 `asyncio.run()` 来启动事件循环并执行指定的任务集合[^2]。 2. **协程 (`Coroutine`)** 协程是一种特殊的函数，可以通过 `async def` 关键字定义。它们可以在特定位置挂起自身的执行，并让控制权返回给事件循环，以便后者能够安排其他任务的运行[^1]。 3. **Future 对象** 表示尚未完成的操作结果。一旦关联的任务结束，这个对象就会保存最终的结果或者异常状态。 4. **Task 对象** Task 是 Future 的子类，封装了具体的协程实例，便于对其进行跟踪管理和优先级设置。 --- #### 四、基本语法结构 以下是构建异步应用程序所需的关键组件及其作用： 1. **定义协程** 使用 `async def` 定义一个协程函数： ```python async def my_coroutine(): ... ``` 2. **等待协程** 利用 `await` 关键词来暂停当前协程直至另一个协程完成其工作流程： ```python result = await another_coroutine() ``` 3. **创建任务** 将协程转换成可由事件循环监控的任务： ```python task = asyncio.create_task(my_coroutine()) ``` 4. **收集任务** 当有多个独立但又相互依赖的任务需要同时被执行时，可以用 `gather` 方法一次性提交这些任务至事件循环： ```python results = await asyncio.gather(*tasks) ``` 5. **运行事件循环** 如果是在脚本顶层，则推荐采用更简洁的方式——即直接调用 `asyncio.run(main())`；而在交互环境中可能还需要手动获取默认的 event loop 并显式地调用相应的方法[^1]。 --- #### 五、实际案例分析 下面展示如何运用上述知识点实现简单的异步爬虫功能[^5]: ```python import asyncio import time urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3'] async def fetch_url(url): print(f'Start fetching {url}') # Simulate network delay using sleep. await asyncio.sleep(2) # Replace this line with real HTTP request logic later on. print(f'Finished fetching {url}') async def main(): start_time = time.perf_counter() tasks = [] for url in urls: tasks.append(fetch_url(url)) await asyncio.gather(*tasks) elapsed_time = time.perf_counter() - start_time print(f'Total execution time: {elapsed_time:.2f} seconds') if __name__ == '__main__': asyncio.run(main()) ``` 在此例子当中，我们模拟向三个不同的 URL 发送 GET 请求的过程。由于采用了异步方式处理每一个连接尝试，所以即使存在延迟也不会影响整体性能表现。 --- #### 六、注意事项 尽管现代版本已经淘汰了一些旧式的写法比如 `@asyncio.coroutine` 和 `yield from`[^1]，但在阅读早期文档资料的时候仍有可能碰到此类表达形式。因此熟悉两者之间的映射关系也是很有必要的。 另外值得注意的一点就是关于上下文管理器(`with`)以及对应的异步版(`async with`)的应用场景差异[^3]。前者适用于传统的文件读取之类的短平快型事务性作业；而后者的适用范围更加广泛些，尤其适合那些涉及到复杂初始化/销毁逻辑的对象生命周期管控场合之中。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值