Python异步编程指南：从pysheeet项目看协程与事件循环-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01167/article/details/148441385

Python异步编程指南：从pysheeet项目看协程与事件循环

pysheeet Python Cheat Sheet 项目地址: https://gitcode.com/gh_mirrors/py/pysheeet

摘要

在现代编程中，处理高并发I/O操作是一个常见挑战。本文基于pysheeet项目中的Python异步编程内容，深入探讨了Python中协程和事件循环的工作原理，帮助开发者理解如何编写高效且易维护的异步代码。

异步编程的核心挑战

传统的同步I/O操作会导致程序阻塞，这在处理网络请求等场景下尤为明显。以一个简单的TCP回显服务器为例：

import socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(("127.0.0.1", 5566))
s.listen(10)

while True:
    conn, addr = s.accept()  # 阻塞点
    msg = conn.recv(1024)    # 阻塞点
    conn.send(msg)           # 阻塞点

这种实现方式会导致服务器在等待I/O操作时无法处理其他请求，严重影响性能。

传统解决方案及其局限性

多线程方案

import threading

def handler(conn):
    while True:
        msg = conn.recv(65535)
        conn.send(msg)

while True:
    conn, addr = s.accept()
    t = threading.Thread(target=handler, args=(conn,))
    t.start()

虽然多线程可以解决阻塞问题，但存在以下缺点：

线程创建和切换开销大
需要处理线程同步问题
难以扩展到高并发场景(C10k问题)

事件循环与回调函数

from selectors import DefaultSelector

sel = DefaultSelector()

def read(conn, mask):
    msg = conn.recv(65535)
    if msg:
        sel.modify(conn, EVENT_WRITE, partial(write, msg=msg))

这种方案虽然高效，但代码结构复杂，容易出现"回调地狱"，难以维护。

Python协程的演进

生成器与yield from

Python的生成器提供了保存和恢复执行状态的能力，这为协程实现奠定了基础：

def recv(conn, size):
    while True:
        try:
            msg = conn.recv(1024)
        except BlockingIOError:
            yield (EVENT_READ, conn)  # 暂停并等待事件
        else:
            break
    return msg

async/await语法

Python 3.5引入的async/await语法使异步代码更直观：

async def handler(conn):
    while True:
        msg = await loop.recv(conn, 1024)
        if not msg:
            conn.close()
            break
        await loop.send(conn, msg)

事件循环工作原理

事件循环是异步编程的核心，其基本工作流程如下：

维护任务队列和I/O事件监听
通过selectors模块监听I/O事件
当I/O就绪时恢复对应的协程执行
协程遇到I/O操作时主动让出控制权

class Loop:
    def run(self):
        while self.queue or self.sel.get_map():
            self.once()
    
    def once(self):
        self.polling()
        unfinished = []
        for t, data in self.queue:
            try:
                data = t.send(data)
            except StopIteration:
                continue
            if self.register(t, data):
                unfinished.append((t, None))
        self.queue = unfinished

协程的本质

协程可以理解为：

用户态的轻量级线程
由事件循环而非操作系统调度
通过yield/await主动让出控制权
保持执行上下文(局部变量、执行位置等)

import types

def coroutine(func):
    if inspect.isgeneratorfunction(func):
        return types.coroutine(func)
    
    @wraps(func)
    def coro(*a, **k):
        res = func(*a, **k)
        if isinstance(res, Future) or inspect.isgenerator(res):
            res = yield from res
        return res
    return types.coroutine(coro)