asyncio入门指南

本篇文章可以当作是官方文档的总结和补充,详细的API,还是需要看官方文档。一遍一遍看,每看都会有不同的收获。下面进行真题,发车!

1.为什么需要asyncio

asyncio库为我们提供了并发的能力。

当我们执行一个需要大量io操作任务A的时候,不需要阻塞等待任务A的结果返回,而是可以转而去执行另一个任务B,等待任务A执行结束之后,会发送一个通知,这个时候再去执行任务A的返回结果。这中间节省的时间,就是被IO阻塞的时间。可以看下方一个示例:

我们使用time.sleep来代指长时间的IO操作,在这里,我们的程序耗时为15S,是所有执行任务时间的总和。

import asyncio
import time

def taskA():
    time.sleep(10)
    
def taskB():
    time.sleep(5)


async def main():
    print(f"start main at {time.strftime('%X')}")
    taskA()
    taskB()
    print(f"finished main at {time.strftime('%X')}")

if __name__ == "__main__":
    asyncio.run(main())
# expect result: cost 15S
# start main at 22:23:06
# finished main at 22:23:21

我们使用asyncio来进行相关的IO操作,代码虽然复杂了一点,但是我们的耗时降到了10S。这里是10并不是并不是程序被阻塞住,不能够执行其他的任务,而是我们的程序需要10才结束。如果我们还有任务C、任务D等。此时程序会转而执行其他的任务,而不是一直被阻塞住。

import asyncio
import time

async def taskA():
    await asyncio.sleep(10)
    
async def taskB():
    await asyncio.sleep(5)


async def main():
    print(f"start main at {time.strftime('%X')}")
    task1 = asyncio.create_task(taskA())
    task2 = asyncio.create_task(taskB())

    await task1
    await task2
    print(f"finished main at {time.strftime('%X')}")

if __name__ == "__main__":
    asyncio.run(main())

# expect result: cost:10S
# start main at 22:21:10
# finished main at 22:21:20

 通过asyncio,我们可以尽可能地利用线程的资源,让线程一直运行,而不处于阻塞的状态。

在现实生活中,我们也会做类似的事情。去饭店吃饭,我们点完餐,一定是找个地方坐着,和朋友聊天,等待服务员上菜,而不是站在厨房旁边,等着饭菜做好。这其实就是异步不阻塞的原理。

2.什么是可等待对象

我们使用 async/await 语法,来进行异步编程。

async是声明一个协程函数,await表示调用,可以调用所有的可等待对象。

python中可等待对象如下:

注意:只有可等待对象才被await中调用。

  • corotinue:使用async def func_name(),协程函数生成的对象。
  • task:表示一个任务,被用来并行地调度协程。

  • future:一种特殊的 低层级 可等待对象,表示一个异步操作的 最终结果,常用语底层的框架,应用层的代码很少使用。

3.区别协程函数和协程对象

协程函数是一种特殊的函数,就比如我们在上面的案例中使用async def taskA()。

协程对象是由协程函数调用返回的一个对象。当我们使用taskA()的使用,就会返回一个协程对象,我们可以使用一个变量进行接收。比如:corA = taskA(),这里的corA就是一个协程对象。

import asyncio

async def cor_func():
    await asyncio.sleep(10)

async def main():
    print(cor_func) #<function cor_func at 0x104e6e160>
    print(type(cor_func)) #<class 'function'>
    print(cor_func()) #<coroutine object cor_func at 0x105b58f40>,会报错,因为协程对象需要被await
    print(type(cor_func())) #<class 'coroutine'>


if __name__ == "__main__":
    asyncio.run(main())

我们想要调用一个协程对象,就必须使用await,不然会报错:RuntimeWarning: coroutine 'cor_func' was never awaited。

这里简单地总结一下:

调用协程函数,会返回协程对象。

而如果我们想要调用协程对象,就必须使用await,不然会报错。

4.常见API整理

明白了上面的这些概念之后,我们就可以去官方文档中进行学习了,以下简单做一个归类,可以参考一下。

正常运行协程:

  • asyncio.run(),运行最高层次的入口点函数

  • await 直接对协程执行

并发运行协程:

task是在事件循环中运行的,如果想要并发运行协程,需要将协程转变成任务中,在事件循环中执行。

  • asyncio.create_task()创建任务,之后await执行任务。

  • async with asyncio.TaskGroup() as tg: 异步上下文管理器,隐式调用加入到任务组中的task对象。

  • asyncio.gather(*aws),并发执行,返回结果列表。运行任务时引发的异常不影响其他任务的运行。

除此之外,还需要学习asyncio.timeout()和asyncio.to_thread()

  • asyncio.timeout() 控制IO处理的时间,如果超过了规定的时间,会取消该可等待对象的执行,并引起 asyncio.CancelledError。
  • asyncio.to_thread() 重新启动一个线程运行非async函数,用来将IO密集性函数变为非阻塞的。案例如下:
  • import asyncio
    import time
    
    def blocking_io():
        print(f"start blocking_io at {time.strftime('%X')}")
        # 直接阻塞当前的时间循环。
        time.sleep(3)
        print(f"blocking_io complete at {time.strftime('%X')}")
    
    async def main():
        print(f"started main at {time.strftime('%X')}")
    
        await asyncio.gather(
            asyncio.to_thread(blocking_io),
            asyncio.sleep(5))
    
        print(f"finished main at {time.strftime('%X')}")
    
    
    asyncio.run(main())

asyncio是python并发编程的重点,比较复杂,需要多看、多敲,每一个学习都会有不同的收获。 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值