揭秘协程状态机：Python 生成器驱动的异步调度器

最新推荐文章于 2025-07-22 15:12:36 发布
最新推荐文章于 2025-07-22 15:12:36 发布
阅读量46 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python Python题库 文章标签： python java 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/windowshht/article/details/146208612

揭秘协程状态机：Python 生成器驱动的异步调度器

引言

今天，我们将深入 Python 的异步编程世界，探索协程的本质，并亲手打造一个 不依赖 asyncio 库，完全基于 生成器 (generator) 的协程调度器。

协程 (coroutine) 作为现代编程中重要的异步编程模型，在 Python 中得到了广泛应用。 asyncio 库为我们提供了强大而易用的协程框架，极大地简化了异步程序的开发。 然而，当我们深入探究协程的底层机制时，会发现其核心思想并非魔法，而是巧妙地利用了 Python 的 生成器 和 状态机 概念。

理解协程的 手动实现，对于深入掌握异步编程的原理至关重要。 它不仅能帮助我们更好地理解 asyncio 库的工作方式，还能让我们在某些特定场景下，根据自身需求定制更轻量级、更灵活的异步调度方案。

本文将 抛开 asyncio 库 的 “外衣”，从零开始，一步步构建一个基于生成器的协程调度器。 我们将深入剖析协程的 状态机本质，揭示 生成器如何驱动协程的暂停和恢复，并最终实现一个支持 任务暂停和恢复 的手动协程调度器。 通过这次 “硬核” 的实践，相信您将对 Python 协程的理

了解本专栏 订阅专栏 解锁全文 超级会员免费看
python3 协程实战（python3经典编程案例）
数据知道的博客
08-25 3万+
一. 定义协程 协程是轻量级线程，拥有自己的寄存机上下文和栈。 协程调度切换时，将寄存器上下文和栈保存到其他地方，再切回来时，恢复先前保存的寄存器上下文和栈。 协程的应用场景：I/O密集型任务，和多线程类似，但协程调用时在一个线程内进行的，是单线程，切换的开销小，因此，效率上略高于多线程。 python3.4加入了协程，以生成器对象为基础，python3.5加了async/await，使用协程更加方便。 python中使用协程最方便的库是asyncio，引入该库才能使用async和await关键字 asy
36、探索D语言中的协程与生成器
q9w8e7r6t5的博客
07-02 14
本文深入探讨了D语言中的协程与生成器，详细介绍了协程的基本概念、实现方式及其应用场景。同时，文章解析了生成器的工作原理以及如何通过优化提升性能，并展示了协程与生成器结合使用的高级用法。通过实际案例分析，突出了它们在异步编程和并发任务处理中的优势。最后，总结了协程与生成器的未来发展潜力，为开发者提供实用的编程指导。
JDK 19 协程新特性：Project Loom 项目的延续
热门推荐
张彦峰的博客
04-25 8万+
探讨了协程的定义、发展史和 JDK 19 中的实现原理。协程是一种轻量级的并发编程工具，通过 Continuation 控制流、Scheduler 调度和阻塞操作的改造，实现了非阻塞、高效的并发编程。历史回顾包括协程在不同编程语言中的应用和 Java 协程的发展。JDK 19 中的协程原理深入分析了创建协程的方法、非阻塞 IO 改造、Continuation 的作用以及协程的唤醒机制。总结了协程的核心原理和重要组件。
python事件循环如何驱动协程_事件循环和协程：从生成器到协程
weixin_39754616的博客
12-22 266
打上一篇「事件驱动与协程：基本概念介绍」已经过去了一周时间，今天我们就来讲一讲真正的协程。上一节我讲到，协程的出现其实为的就是简化异步IO流程，使得异步IO变得跟同步一样。那什么又是异步IO呢？一)异步IO异步IO最形象的一个比喻就是打电话。今天早上起来，你想打电话去喷一喷知乎的人，说编辑器太辣鸡了请改进。于是乎，你掏出手机，打电话到知乎总机去，然后知乎总机的服务台小姐说：先生请稍等，我找我们领导...
python异步编程中 生成器与 async/await区别详解
专注分享技术、实用优质教程、资源
04-29 1033
python异步编程中 生成器与 async/await区别详解
Python协程：从生成器到异步编程的核心逻辑
钢铁男儿
07-10 840
yieldyield。
python协程调度方式_Python协程技术的演进
weixin_39725756的博客
02-03 339
引言1.1. 存储器山存储器山是 Randal Bryant 在《深入理解计算机系统》一书中提出的概念。基于成本、效率的考量，计算机存储器被设计成多级金字塔结构，塔顶是速度最快、成本最高的 CPU 内部的寄存器(一般几 KB)与高速缓存，塔底是成本最低、速度最慢的广域网云存储(如百度云免费 2T )存储器山的指导意义在于揭示了良好设计程序的必要条件是需要有优秀的局部性：时间局部性：相同时间内，访问...
python爬虫进阶|异步协程
weixin_54787921的博客
06-22 1037
python爬虫进阶 | 异步协程前言一、基本概念二、异步协程 前言 之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身是阻塞式的编程，所以时间都花费在了等待网页结果的返回和对爬取到的数据的写入上面。而如果采用非阻塞编程，那么就没有这个困扰。这边首先要理解一下阻塞和非阻塞的区别。 阻塞调用是指调用结果返回之前，当前线程会被挂起（线程进入非可
Python生成器在实际项目中的经典应用场景详解
专注分享技术、实用优质教程、资源
05-01 884
Python生成器在实际项目中的经典应用场景详解
《python语言程序设计》2018版--第8章9题编写函数实现二进制转十六进制（字符串变整数）！！整数没法进行下标
电饭叔
07-18 812
使用硬性指派确实帮助了我很多。循环步幅是很好的使用工具。如何转换呢？？二进制转十六进制通过智能ai一下子就生成了！！哇塞！！质的飞跃。但是我还是用毕竟原始的办法来弄吧。
用算法思维了解一个停车点的车辆情况
Buy0515的博客
07-20 521
如果你希望了解一个停车点的车辆情况，你需要有一些网络知识，了解 APP 和相关软件服务器之间的通讯协议，当了解了具体的接口之后就可以写一个包含循环的程序来定时判断某一个点的车辆数量信息，这个程序可以用 Python 来完成，涉及到的库不会超过 2 个，基本就是。对于这样的操作来说，真的只需要。
pytorch中的torch.compile是如何加速vLLM大模型推理的？
goodgood_UP的博客
07-22 443
torch.compile 通过将 PyTorch 代码 JIT（just in time） 编译为优化的内核，使 PyTorch 代码运行得更快，同时只需极少的代码更改。简单来说，torch.compile 利用 PyTorch 2.0 引入的动态图捕获（TorchDynamo）和图形编译（TorchInductor 等后端）技术，将模型的前向计算图转换为高度优化的低级代码（包括融合的GPU内核等），从而减少解释执行的开销。这种编译在模型第一次运行时会进行：它捕获模型的计算图并进行编译优化，因此。
深度学习方法生成抓取位姿与6D姿态估计的完整实现
ZPC8210的博客
07-20 897
如何将GraspNet等深度学习模型与6D姿态估计集成到ROS2和MoveIt中，实现高精度的机器人抓取系统。
同时安装了 Python 3.8.20 和 Python 3.12.3如何指定默认版本
m0_71071763的博客
07-22 97
0 /usr/bin/python3.12 2 自动模式。1 /usr/bin/python3.12 2 手动模式。2 /usr/bin/python3.8 1 手动模式。有 2 个候选项可用于替换 python3 (提供 /usr/bin/python3)。要维持当前值[*]请按<回车键>，或者键入选择的编号：2。
深入解析与实战应用：利用Python和Amazon Product Advertising API实战分析
2503_92516413的博客
07-21 523
在电商平台的运营中，关键词搜索接口是不可或缺的一部分，特别是在亚马逊这样的全球电商平台。请注意，你需要将<你的API_KEY>和<你的API_SECRET>替换为实际获取的API密钥。为了使用亚马逊的API接口，你需要获取API密钥，这包括API密钥（Key）和API密钥密文（Secret）。首先，你需要访问亚马逊开发者中心，注册一个开发者账号，并获取相应的API权限。API限制：亚马逊的API可能有请求频率限制，确保你的请求频率符合其规定，以避免被封禁。API_KEY = '<你的API_KEY>'
写个 flask todo app，简洁，实用
最新发布
waterHBO的博客
07-22 445
这是一个基于 Flask 框架开发的现代化 Todo 应用，专为个人任务管理而设计。应用采用简洁的界面设计和直观的操作方式，帮助用户高效管理日常任务。这个 Flask Todo 应用虽然功能简洁，但涵盖了任务管理的核心需求。它不仅是一个实用的工具，也是学习 Flask 全栈开发的优秀示例。无论是个人使用还是作为学习项目，都具有很好的实用价值。项目代码结构清晰，易于理解和扩展，是 Web 开发初学者和有经验开发者的理想选择。
快速体验逗脑IDE开发树莓派流程
iotzgq的博客
07-21 382
本文介绍了使用逗脑IDE开发树莓派的步骤。首先确保电脑能通过SSH连接树莓派并开机。然后在逗脑IDE中配置远程连接，填写IP、端口等必要信息，设置服务器和本地路径映射。接着新建Python文件并编写简单代码（如打印语句和数学运算），最后运行程序完成测试。全文重点讲解了远程开发的配置流程和注意事项。
在Ubuntu安装vnpy教程（最新）
猿小白的博客
07-22 16
VeighNa量化交易框架在Ubuntu的安装指南 VeighNa是一个基于Python的量化交易开发框架，提供从API对接到策略自动交易的全流程解决方案。本文详细介绍了在Ubuntu系统上安装VeighNa的步骤： 下载4.1.0版本源码 安装系统依赖项 解压文件 执行安装脚本 通过run.py启动程序 安装前需确保已安装Python3环境，推荐使用Miniconda3。该框架支持多种金融市场，提供策略开发、回测、风险管理等功能，适合快速开发量化交易策略。
Python Matplotlib中的fontdict参数说明
The @MMiL algoDves & programming space
07-21 44
本文介绍了Matplotlib中fontdict参数的使用方法，该参数通过字典形式定义文本属性，包括字体、颜色、大小等样式。文章提供了具体示例展示如何为标题和坐标轴标签应用不同的字体样式，并说明了通过fontdict与rcParams两种方式设置文本属性的区别。此外，还提到fontdict可以与其他文本参数结合使用，实现更灵活的文本样式控制。这些方法能帮助用户自定义图表中的文本显示效果，提升可视化质量。
协程与生成器（Generator）有何本质区别？
07-15
<think>我们被要求解释Python中协程（Coroutine）和生成器（Generator）的本质区别。根据提供的引用，我们可以总结如下： 1. 生成器（Generator）： - 生成器是一种特殊的迭代器，它使用`yield`关键字来产生一个值，并暂停函数的执行。当再次调用生成器时，它会从暂停的地方继续执行。 - 生成器主要用于惰性生成数据，例如处理大数据流时，可以逐个产生元素而不需要一次性将所有数据加载到内存中。 - 引用[3]指出，生成器被称为“半协程”（semi-coroutine），因为它可以多次暂停和恢复，但不能控制执行权转移给谁。也就是说，生成器只能将控制权返回给调用者（即调用`next()`或`send()`的代码）。 2. 协程（Coroutine）： - 协程是生成器的进一步发展，它不仅可以暂停和恢复执行，还可以在暂停时接受外部传入的值（通过`send()`方法），并根据这些值决定后续的执行逻辑。 - 协程使得我们可以更灵活地控制程序的执行流程，特别是在异步编程中，可以极大地提高程序的效率。 - 引用[2]提到，协程有四种定义方式（实际上，在Python中，协程可以通过`@asyncio.coroutine`装饰器和`yield from`语法，或者使用`async/await`关键字来定义）。 - 协程可以看作是用户态的轻量级线程，由程序自身控制调度，不需要内核参与，资源消耗极低。 本质区别： - **控制权转移的灵活性**：生成器只能将控制权返回给调用者，而协程则可以将控制权转移给其他协程（通过事件循环调度）。也就是说，协程的调度是程序自身控制的，而生成器的控制流是线性的（调用者-生成器）。 - **数据交换方向**：生成器主要用于产生值（生产者），而协程既可以产生值也可以消费值（既是生产者又是消费者）。协程可以通过`send()`方法接收外部传入的值，并根据这个值改变内部状态。 - **设计目的**：生成器主要用于创建迭代器，处理数据流；而协程则用于并发编程，特别是在I/O密集型任务中实现异步操作。 在Python中，协程最初是通过生成器（使用`yield`和`yield from`）实现的，但在Python 3.5之后，引入了`async`和`await`关键字，使得协程成为语言的一等公民，与生成器有了更明确的区分。现在，生成器使用`yield`，而协程使用`async def`和`await`。 引用[3]特别指出，生成器是半协程，因为它不能自由地决定将控制权转移给谁，而协程可以。 因此，我们可以这样总结：协程是比生成器更一般的概念，生成器是协程的一种特殊形式（即只能将控制权返回给调用者的协程）。但现代Python中，使用`async/await`定义的协程与生成器在实现上是不同的，它们有各自的对象类型（生成器函数返回生成器对象，而异步函数返回协程对象）。 下面我们通过代码示例来展示两者的区别： **生成器示例**： ```python def simple_generator(): yield 1 yield 2 yield 3 # 使用 gen = simple_generator() print(next(gen)) # 输出1 print(next(gen)) # 输出2 ``` **协程示例（旧式，基于生成器的协程）**： ```python def old_style_coroutine(): print("Start") x = yield # 等待接收一个值 print(f"Received: {x}") coro = old_style_coroutine() next(coro) # 启动协程，执行到第一个yield coro.send(10) # 发送值10，协程内部x=10，然后打印 ``` **协程示例（新式，使用async/await）**： ```python async def modern_coroutine(): print("Start") await asyncio.sleep(1) # 模拟I/O操作 print("End") # 使用事件循环运行 asyncio.run(modern_coroutine()) ``` 在旧式协程中，我们看到了生成器的影子（使用`yield`），但新式协程则完全使用`async/await`，不再与生成器混淆。 总结表格： | 特性 | 生成器 (Generator) | 协程 (Coroutine) | |--------------|----------------------------------------|---------------------------------------------| | 关键字 | `yield` | `async def`, `await` (新式) 或 `yield from` (旧式) | | 主要用途 | 惰性生成数据 | 异步编程，并发I/O操作 | | 控制权转移 | 只能返回给调用者 | 可以转移给事件循环或其他协程 | | 数据流 | 主要输出数据（生产者） | 可双向通信（生产者和消费者） | | 对象类型 | 生成器对象 | 协程对象（新式）或生成器对象（旧式） | | 调度方式 | 由调用者通过`next()`或`send()`驱动 | 由事件循环调度（新式） | | 是否半协程 | 是（只能将控制权返回给调用者） | 否（可以自由转移控制权） | 因此，本质区别在于：生成器是单向的（从生成器到调用者的数据流）且控制权只能返回给调用者，而协程是双向的（可以接收和发送数据）且控制权可以自由转移，这使得协程能够实现复杂的并发模式。 [^1]: 生成器(Generators)和协程(Coroutines)是两个强大且常被误解的概念 [^2]: 协程可以看作是生成器的进一步发展 [^3]: generator并不是协程，严格意义地讲，generator叫做半协程 [^4]: 生成器是从某个地方取出一个元素的过程 §§相关问题§§ 1. 如何在Python中实现一个生成器函数？ 2. 新式协程（async/await）与旧式协程（yield from）有什么区别？ 3. 协程在异步编程中的具体应用场景有哪些？ 4. 生成器能否实现协程的功能？为什么？</think>### Python协程与生成器的本质区别解析 #### 一、核心功能差异 | 特性 | 生成器 (Generator) | 协程 (Coroutine) | |------------------|-------------------------------------|--------------------------------------| | **数据流向** | 单向输出数据 (`yield` 产生值) | 双向数据通道 (`yield` 接收和发送值) | | **控制权转移** | 只能返回给直接调用者[^3] | 可自由指定控制权转移对象[^2] | | **核心目的** | 惰性数据生成 | 异步流程控制与并发编程 | | **状态机复杂度** | 简单状态维护 | 复杂状态管理（暂停/恢复/异常处理） | #### 二、技术实现对比 1. **生成器基础原理** 生成器本质是**惰性迭代器**，通过`yield`暂停执行并返回数据： ```python def number_generator(n): for i in range(n): yield i # 单向输出数据 # 使用示例 gen = number_generator(3) print(next(gen)) # 输出: 0 print(next(gen)) # 输出: 1 ``` 2. **协程增强特性** 协程通过`yield`实现**双向通信**，可接收外部输入： ```python def coroutine_example(): print("启动协程") while True: received = yield # 接收外部发送的值 print(f"收到: {received}") # 使用示例 coro = coroutine_example() next(coro) # 初始化协程（输出"启动协程"） coro.send("数据A") # 输出: 收到: 数据A coro.send("数据B") # 输出: 收到: 数据B ``` #### 三、设计哲学差异 1. **生成器：数据生产者** - 专注于**高效生成序列数据** - 内存占用极低（例如处理大型文件） - 典型应用：流式数据处理、惰性计算[^4] 2. **协程：流程控制器** - 实现**用户态并发调度** - 支持异步I/O操作（网络/文件） - 典型应用：高并发服务器、异步任务编排[^2] #### 四、演进关系图解 ```mermaid graph LR A[基础迭代器] --> B[生成器] B -->|增加双向通信| C[协程] C -->|Python 3.5+| D[async/await语法] ``` #### 五、关键区别验证实验 ```python def check_control(): # 生成器测试 def generator(): yield 1 yield 2 # 协程测试 def coroutine(): yield # 暂停点 yield (yield) # 等待输入并返回 gen = generator() print("生成器输出:", next(gen), next(gen)) # 输出: 1, 2 coro = coroutine() next(coro) # 初始化 print("协程返回:", coro.send("外部数据")) # 输出: "外部数据" ``` *实验证明：协程可通过`(yield)`接收外部输入并返回，而生成器只能单向输出数据[^2][^3]* #### 六、现代Python中的发展 1. **生成器**仍保持其核心功能，用于创建高效迭代器 2. **协程**已进化为`async/await`语法： ```python async def modern_coroutine(): print("开始") await asyncio.sleep(1) # 异步操作 data = await fetch_data() # 等待异步结果 print(f"收到: {data}") ``` 3. 关键演进：协程获得独立类型标识（`types.CoroutineType`），与生成器彻底分离 --- ### 本质区别总结 1. **数据流方向** 生成器是**单向数据管道**（输出数据），协程是**双向通信通道**（可收发数据）[^2] 2. **控制权调度** 生成器只能将控制权交回直接调用者，而协程可通过事件循环自由转移控制权[^3] 3. **设计目标** 生成器解决**大数据迭代**问题，协程解决**高并发调度**问题[^1][^4] 4. **语言演进** 生成器是协程的基础，但现代Python中两者已通过`async/await`语法明确区分[^2] [^1]: 生成器(Generators)和协程(Coroutines)是两个强大且常被误解的概念 [^2]: 协程可以看作是生成器的进一步发展 [^3]: generator并不是协程，严格意义地讲，generator叫做半协程 [^4]: 生成器是从某个地方取出一个元素的过程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清水白石008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值