Python学习笔记__20.2章 asyncio

# 这是学习廖雪峰老师python教程的学习笔记

1、概览

asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。

1.1、asyncioio的关键字

• event_loop      事件循环：程序开启一个无限循环，把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数

• coroutine      协程：协程对象，指一个使用async关键字定义的函数，它的调用不会立即执行函数，而是会返回一个协程对象。协程对象需要注册到事件循环，由事件循环调用。

• task      任务：一个协程对象就是一个原生可以挂起的函数，任务则是对协程进一步封装，其中包含了任务的各种状态

• future: 代表将来执行或没有执行的任务的结果。它和task上没有本质上的区别

• async/await      关键字：python3.5用于定义协程的关键字，async定义一个协程，await用于挂起阻塞的异步调用接口。

 

 

 

2、实例

2.1、用asyncio实现Hello world

import asyncio

 

@asyncio.coroutine # 把generator标记为coroutine类型

def hello():

    print("Hello world!")

    r = yield from asyncio.sleep(1) # 异步调用asyncio.sleep(1)

    print("Hello again!")

 

 

loop = asyncio.get_event_loop() # 创建消息事件，开启了事件循环

loop.run_until_complete(hello())  # 将协程对象注册到事件循环，由事件循环调用

loop.close() # 关闭事件

把asyncio.sleep(1)看成是一个耗时1秒的IO操作，在此期间，主线程并未等待，而是去执行EventLoop中其他可以执行的coroutine了，因此可以实现并发执行。

因为loop里只有一个事件【hello()】，所以会暂停1秒，打印“hello again”

2.2、用Task封装两个coroutine

import threading

import asyncio

 

@asyncio.coroutine # 把generator标记为coroutine类型

def hello():

    print('Hello world! (%s)' % threading.currentThread()) # 打印当前线程号

    yield from asyncio.sleep(1)

    print('Hello again! (%s)' % threading.currentThread())

 

loop = asyncio.get_event_loop()

tasks = [hello(), hello()] # 定义任务

loop.run_until_complete(asyncio.wait(tasks)) #asyncio.wait()等待子进程终止

loop.close() # 关闭消息事件

 

# 执行过程

Hello world! (<_MainThread(MainThread, started 140735195337472)>)

Hello world! (<_MainThread(MainThread, started 140735195337472)>)

(暂停约1秒)

Hello again! (<_MainThread(MainThread, started 140735195337472)>)

Hello again! (<_MainThread(MainThread, started 140735195337472)>)

# 解析

这里的loop里有两个hello事件，下面简称h1和h2。

1. 首先h1被执行，打印了"Hello      world"，异步执行了asyncio.sleep(1)，需要暂停1秒

2. loop不会等待，将h1挂起，直接执行h2，又打印了"Hello      world"，然后又碰到asyncio.sleep(1)，需要暂停1秒

3. 1秒后，再次执行h1和h2，因为CPU处理速度很快，所以虽然h2比h1晚暂停，但是几乎感觉不到

 

2.3、用asyncio的异步网络连接来获取sina、sohu和163的网站首页

import asyncio

 

@asyncio.coroutine # 把generator标记为coroutine类型

def wget(host):

    print('wget %s...' % host)

    connect = asyncio.open_connection(host, 80) #创建异步连接

    reader, writer = yield from connect #异步调用connect，返回reader，writer两个实例，这是固定的两个实例

    header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host  # 设置header

    writer.write(header.encode('utf-8'))

    yield from writer.drain() # 将设置的header写入connect

    while True:

        line = yield from reader.readline() #读取返回的HTTP

        if line == b'\r\n':

            break

        print('%s header > %s' % (host, line.decode('utf-8').rstrip()))

    # Ignore the body, close the socket

    writer.close()

 

loop = asyncio.get_event_loop()

tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]

loop.run_until_complete(asyncio.wait(tasks))

loop.close()

 

# 执行结果

wget www.sohu.com...

wget www.sina.com.cn...

wget www.163.com...

(等待一段时间)

(打印出sohu的header)

www.sohu.com header > HTTP/1.1 200 OK

www.sohu.com header > Content-Type: text/html

...

(打印出sina的header)

www.sina.com.cn header > HTTP/1.1 200 OK

www.sina.com.cn header > Date: Wed, 20 May 2015 04:56:33 GMT

...

(打印出163的header)

www.163.com header > HTTP/1.0 302 Moved Temporarily

www.163.com header > Server: Cdn Cache Server V2.0

3个连接由一个线程通过coroutine并发完成

3、小结

• asyncio提供了完善的异步IO支持；

• 异步操作需要在coroutine中通过yield from完成；

• 多个coroutine可以封装成一组Task然后并发执行。

 

4、扩展文档

python中重要的模块--asyncio (https://www.cnblogs.com/zhaof/p/8490045.html)

python yield 与 yield from (https://blog.youkuaiyun.com/chenbin520/article/details/78111399?locationNum=7&fps=1)