深入Asyncio（八）异步迭代器

最新推荐文章于 2025-06-15 19:02:58 发布

weixin_30809173

最新推荐文章于 2025-06-15 19:02:58 发布

阅读量462

点赞数

CC 4.0 BY-SA版权

文章标签： python 数据库

原文链接：http://www.cnblogs.com/ikct2017/p/9829036.html

本文深入探讨了Python中异步迭代器的实现原理，包括__aiter__和__anext__方法的使用，以及如何利用异步迭代器处理大规模网络IO操作，如Redis中的大数据集迭代。

Async Iterators: async for

除了async def和await语法外，还有一些其它的语法，本章学习异步版的for循环与迭代器，不难理解，普通迭代器是通过__iter__和__next__两个特殊方法实现的，如下例。

>>> class A:
...     def __iter__(self):    # 1
...             self.x = 0     # 2
...             return self    # 3
...     def __next__(self):    # 4
...             if self.x > 2:
...                     raise StopIteration
...             else:
...                     self.x += 1
...                     return self.x
>>> for i in A():
...     print(i)
...
1
2
3

迭代器必须支持__iter__方法；
值初始化；
返回一个可迭代对象，这个对象可以执行__next__方法，这里A本身就实现了__next__方法，所以返回它本身即可；
在每次迭代时调用。

将__next__()方法声明为异步函数，要允许await某些IO操作，除开命名的差别外，几乎是相同的定义，PEP 492中规范说明了如何实现一个异步迭代器：
1. 实现__aiter__()方法（不需要用async def）；
2. __aiter__()方法必须返回一个支持__anext__()方法的对象；
3. __anext__()必须返回迭代器的每个值，并在结束迭代时抛出StopAsyncIteration异常。

举个例子，比如Redis的key对应的value是一个很大的集合，想迭代这些key的value会出现严重的网络IO，异步迭代器可以这样实现：

import asyncio
from aioredis import create_redis

async def main():   # 1
    redis = await create_redis(('localhost', 6379))    # 2
    keys = ['America', 'Africa', 'Europe', 'Asia']  # 3

    async for value in OneAtTime(redis, keys):  # 4
        await process(value)    # 5

class OneAtTime:
    def __init__(self, redis, keys):    # 6
        self.redis = redis
        self.keys = keys
    def __aiter__(self):    # 7
        self.ikeys = iter(self.keys)
        return self
    async def __anext__(self):  # 8
        try:
            k = next(self.ikeys)    # 9
        except StopIteration:   # 10
            raise StopAsyncIteration
        value = await redis.get(k)  # 11
        return value

asyncio.get_event_loop().run_until_complete(main())