Python-异步协程

协程的介绍：

• 协程：在单线程内实现并发
• 核心原理：
  • 用一个超级循环(其实就是while true)循环
  • 配合IO多路复用原理(IO时CPU可以干其他事情)

asyncio的使用：

• python3.7之前的写法：

# 1、导入模块
import asyncio
# 2、获取事件循环
loop = asyncio.get_event_loop()
# 3、定义协程函数
async def myfunc(url):
    await get_url(url)
# 4、创建task列表
tasks = [loop.create_task(myfunc(url)) for url in urls]
# 5、执行协程事件列表
loop.run_until_complete(asyncio.wait(tasks))

• python3.7之后新的写法，更加简洁：

# 1、导入模块
import asyncio
# 2、定义协程函数
async def main():
    print('Hello ...')
    await asyncio.sleep(1)
    print('... World!')
# 3、执行协程
asyncio.run(main())

协程的案例对比：

# 主要用于有等待时长的案例，比如：网络通信的加载、避免爬虫加载网页时等待时间过久
import asyncio
import time


# 定义一个coroutine，即协程程序
async def wait(num, data):
    # await一个coroutine时，返回的对象还是一个coroutine
    await asyncio.sleep(num)
    return data


"""
执行main_1()可发现，程序在sleep时并没有直接进行下一步，而是等第一个sleep结束后才继续执行
"""
async def main_1():
    start = time.time()
    res1 = await wait(1, "hello...")
    print(res1)
    res2 = await wait(2, "world!")
    print(res2)
    end = time.time()
    print("time：", end-start)
asyncio.run(main_1())


"""
使用create_task()方法创建task，将其task添加进even_loop，使得task1在等待时即可执行task2
"""
async def main_2():
    task1 = asyncio.create_task(wait(1, "hello..."))
    task2 = asyncio.create_task(wait(2, "world!"))
    start = time.time()
    # 使用await接收协程的返回值
    res1 = await task1
    print(res1)
    # 如果不使用await，则返回协程对象
    res2 = task2
    print(res2)
    end = time.time()
    print("time：", end-start)
# asyncio.run(main_2())


"""
当任务较多时，可使用gather()方法，该方法可以将每个协程变成task
"""
async def main_3():
    start = time.time()
    # 使用gather()方法时，放进去的都为coroutine，而该方法会将coroutine自动转换为不同的task
    res = await asyncio.gather(
        wait(1, "hello..."),
        wait(2, "world!")
    )
    # 使用gather()时，返回结果为列表
    print(res)
    end = time.time()
    print("time：", end-start)
# asyncio.run(main_3())

通过信号量控制协程数：

import asyncio
semaphore = asyncio.Semaphore(10)
async with semaphore:
    ...