python协程学习路径

最近在学习python的协程,将自己在学习过程中遇到的比较好的资料记录下来,希望能帮到更多人

生成器、迭代器、可迭代对象
https://nvie.com/posts/iterators-vs-generators/

asyncio:

asyncio.Queue在生产者-消费者模型中的示例代码

import asyncio, random
 
async def rnd_sleep(t):
    # sleep for T seconds on average
    await asyncio.sleep(t * random.random() * 2)
 
async def producer(queue):
    while True:
        token = random.random()
        print(f'produced {token}')
        if token < .05:
            break
        await queue.put(token)
        await rnd_sleep(.1)
 
async def consumer(queue):
    while True:
        token = await queue.get()
        await rnd_sleep(.3
        queue.task_done()
        print(f'consumed {token}')
 
async def main():
    queue = asyncio.Queue()
 
    # fire up the both producers and consumers
    producers = [asyncio.create_task(producer(queue))
                 for _ in range(3)]
    consumers = [asyncio.create_task(consumer(queue))
                 for _ in range(10)]
 
    # with both producers and consumers running, wait for
    # the producers to finish
    await asyncio.gather(*producers)
    print('---- done producing')
 
    # wait for the remaining tasks to be processed
    await queue.join()
 
    # cancel the consumers, which are now idle
    for c in consumers:
        c.cancel()
 
asyncio.run(main())

https://stackoverflow.com/a/52615705

future示例代码:

import asyncio
from asyncio import Future
 
async def bar(future):
    print("bar will sleep for 3 seconds")
    await asyncio.sleep(3)
    print("bar resolving the future")
    future.done()
    future.set_result("future is resolved")

async def foo(future):
    print("foo will await the future")
    await future
    print("foo finds the future resolved")
 
async def main():
    future = Future()
    results = await asyncio.gather(foo(future), bar(future))
 
if __name__ == "__main__":
    asyncio.run(main())
    print("main exiting")

python中的协程实现方式随着python版本的变化而变化
比如在python3.5之前,协程的实现通过基于生成器的协程

@asyncio.coroutine
def do_something_important():
    yield from asyncio.sleep(1)

而在python3.5,则通过async/await原生实现协程

async def coro():
    await asyncio.sleep(1)

python3.7以前这样运行事件循环

loop = asyncio.get_event_loop()
loop.run_until_complete(main())
loop.close()

python3.7变为

asyncio.run(main())
### Python 协程的使用与实现 #### 1. Python 协程的基础概念 Python 中的协程是一种特殊的函数,它允许程序在执行过程中暂停并稍后恢复。这种机制使得异步编程成为可能,从而提高了 I/O 密集型应用的性能[^2]。 从语法上看,现代 Python 推荐使用 `async def` 定义协程,并通过 `await` 关键字调用其他协程或等待异步操作完成。这种方式取代了早期版本中的 `@coroutine` 装饰器定义方式,后者已被废弃[^2]。 --- #### 2. Python 协程的核心组件 Python协程依赖于以下几个核心组件: - **事件循环 (Event Loop)** 事件循环是协程运行的基础环境。它是负责调度和管理协程的任务中心。可以通过 `asyncio.get_event_loop()` 获取当前线程的默认事件循环实例[^3]。 - **Future 对象** Future 是一种表示尚未完成的操作的结果的对象。它可以用来跟踪任务的状态以及最终返回值。 - **Task 对象** Task 是 Future 的子类,用于封装协程对象以便由事件循环管理和调度。当创建一个 Task 实例时,会自动将其加入到事件循环中以供后续执行。 --- #### 3. Python 协程的工作流程 以下是 Python 协程的基本工作流程: 1. 用户编写基于 `async def` 的协程函数。 2. 将这些协程传递给事件循环进行注册。 3. 当某个协程遇到耗时操作(如网络请求、文件读写)时,它会主动释放控制权 (`await`) 并让出 CPU 时间片。 4. 一旦阻塞操作完成,事件循环重新激活相应的协程继续执行剩余逻辑。 下面是一个简单的例子展示如何利用 `asyncio` 库来运行多个并发任务: ```python import asyncio async def fetch_data(): print("Start fetching data...") await asyncio.sleep(2) # Simulate an IO-bound operation. print("Data fetched.") return {"data": "example"} async def main(): task1 = asyncio.create_task(fetch_data()) # Create a new coroutine as a task. task2 = asyncio.create_task(fetch_data()) result1 = await task1 # Wait until the first task completes. result2 = await task2 # Then wait for the second one. print(result1, result2) # Run the event loop with our main function. if __name__ == "__main__": asyncio.run(main()) ``` 在这个示例中,两个独立的 `fetch_data` 函数被作为任务提交给了事件循环。尽管它们共享相同的代码路径,但由于引入了 `await asyncio.sleep(2)` 这样的挂起点,因此可以交替推进各自进度而无需额外线程支持。 --- #### 4. Python 协程的底层实现细节 Python协程本质上是由生成器扩展而来的一种结构化形式。具体来说,在编译阶段,标记为 `async def` 的函数会被转换成特殊类型的生成器——即具备状态机特性的可迭代对象。 每当调用这样的协程时并不会立即执行其中的内容;相反,它仅会产生一个新的生成器实例。只有当我们显式地向该生成器发送消息或者启动它的下一步动作时才会触发实际计算过程。 为了简化开发者体验,标准库提供了诸如 `ensure_future`, `create_task` 等辅助工具帮助我们轻松处理复杂的嵌套场景下的资源分配问题。 此外值得注意的是,每一个新建立起来的任务都会绑定至特定的事件循环上下文中去运作。这意味着如果尝试脱离原有关联关系,则可能导致异常情况发生。 --- #### 5. 总结 综上所述,Python协程设计既考虑到了易用性也兼顾了一定程度上的灵活性。借助强大的 `asyncio` 生态体系,我们可以构建高效的高并发应用程序而不必担心传统多线程模型带来的复杂同步难题。 当然,随着技术的发展,不排除将来会有进一步改进空间存在。例如目前尚存的一些局限之处包括但不限于 GIL 锁制约下真正的并行能力不足等问题待解决。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值