异步任务Asyncio_asyncio 创建异步任务-优快云博客

本文链接：https://blog.youkuaiyun.com/a6181816/article/details/144694253

要了解异步任务Asyncio，首先要了解I/O 操作。I/O 操作（Input/Output Operation）指的是计算机系统中涉及数据输入与输出的操作，通常是指计算机与外部设备（如磁盘、网络、用户、显示器等）之间交换数据的过程。I/O 操作可以是读取、写入数据，也可以是获取或输出信息。

在程序中，I/O 操作通常涉及到与外部资源（如硬盘文件、数据库、网络、用户输入等）进行交互，这类操作往往会比较耗时，因为它们需要等待外部设备的响应（例如，等待从磁盘读取文件或从网络接收数据）。这就是为什么 I/O 操作通常被视为 “慢操作” 或 “阻塞操作”。

I/O 操作的种类

输入（Input）：
- 从外部设备获取数据到程序内部，比如读取文件内容、从用户输入获取数据、接收网络数据等。
示例：
- 从文件中读取数据：open("file.txt", "r")
- 从网络接收数据：通过 HTTP 请求接收响应
输出（Output）：
- 将数据从程序输出到外部设备，比如写入文件、显示数据到屏幕、发送网络请求等。
示例：
- 向文件写入数据：open("file.txt", "w")
- 向网络发送数据：通过 HTTP 请求发送数据

阻塞与非阻塞 I/O

阻塞 I/O：在进行 I/O 操作时，程序会等待操作完成后再继续执行后续代码。也就是说，执行 I/O 操作时，程序会暂停，直到操作完成，才会继续执行后面的任务。典型的例子是文件读写、网络请求等。
```
# 阻塞 I/O 示例
with open('example.txt', 'r') as f:
    data = f.read()  # 阻塞，直到文件读取完成
```
在上面的例子中，程序会在 read() 处暂停，直到文件数据被完全读取。
非阻塞 I/O：非阻塞 I/O 允许程序在等待 I/O 操作完成时继续执行其他任务。这通常是通过使用异步编程（如 asyncio）或者多线程/多进程来实现的。
```
import asyncio

async def fetch_data():
    data = await some_async_io_operation()  # 非阻塞，等待操作完成时可以继续执行其他任务
    return data
```
在异步 I/O 中，await 关键字会让程序在等待数据的同时，去执行其他任务，从而不需要阻塞。

I/O 密集型操作

I/O 操作被视为“I/O 密集型”操作，这意味着程序的大部分时间都花费在等待 I/O 操作的完成上，而不是在进行计算或处理数据。在这些情况下，I/O 操作的效率对程序的性能影响很大。例如：

从磁盘读取大文件
网络请求与数据交换
数据库查询与写入

与 CPU 密集型 操作（如复杂的数学计算、图像处理等）不同，I/O 密集型操作的瓶颈通常是等待外部资源，而不是计算过程本身。

异步 I/O 与阻塞 I/O

在传统的 阻塞 I/O 模式下，每当一个 I/O 操作发生时（例如读取文件、等待网络响应等），程序会被暂停，直到 I/O 操作完成。对于多个 I/O 操作，程序会顺序执行，每次只处理一个 I/O 操作。
在 异步 I/O（例如 Python 的 asyncio）中，程序不会因等待某个 I/O 操作而暂停。它会在等待某个 I/O 操作的过程中，执行其他任务。这样可以提高程序的并发性和效率，特别适合需要处理大量 I/O 操作的场景。

示例：异步 I/O 与阻塞 I/O 的对比

阻塞 I/O 示例：

import time

def fetch_data_from_file(filename):
    with open(filename, 'r') as file:
        data = file.read()
    return data

def main():
    # 顺序阻塞执行
    start_time = time.time()
    data1 = fetch_data_from_file('file1.txt')
    data2 = fetch_data_from_file('file2.txt')
    print(f"Time taken: {time.time() - start_time} seconds")

main()

在这个例子中，程序会依次读取 file1.txt 和 file2.txt，每次读取都需要等待文件操作完成。

异步 I/O 示例：

import asyncio

async def fetch_data_from_file(filename):
    with open(filename, 'r') as file:
        data = file.read()
    return data

async def main():
    start_time = time.time()
    # 并发读取文件
    task1 = asyncio.create_task(fetch_data_from_file('file1.txt'))
    task2 = asyncio.create_task(fetch_data_from_file('file2.txt'))
    
    # 等待两个文件的内容
    data1, data2 = await asyncio.gather(task1, task2)
    print(f"Time taken: {time.time() - start_time} seconds")

asyncio.run(main())

在这个例子中，程序使用 asyncio 来并发读取文件。虽然读取文件的操作本质上是阻塞的，但程序会在读取 file1.txt 时，开始读取 file2.txt，从而减少等待时间。

总之

I/O 操作是指程序与外部资源（如硬盘、网络等）进行数据交换的过程。这类操作通常较为耗时，尤其是对于需要等待外部设备响应的操作。通过异步编程和非阻塞 I/O 技术，程序能够更高效地处理大量的 I/O 操作，避免长时间的等待和资源浪费。

asyncio 是 Python 中用于编写异步程序的标准库，提供了对并发任务管理的支持。它是 Python 3.3 版本引入的，旨在简化异步 I/O 操作的代码，尤其适用于需要高并发的网络应用程序、爬虫、服务器等场景。

基本概念

协程（Coroutines）:
协程是可以暂停执行并在以后恢复的函数。async def 定义的函数是一个协程，它们通常会使用 await 来等待其他协程完成。
事件循环（Event Loop）:
asyncio 的核心是事件循环。事件循环用于管理和调度任务的执行，确保协程能够按顺序执行。你可以将多个协程交给事件循环，它会在适当的时机调度它们。
任务（Task）:
协程通常通过 asyncio.create_task() 或 loop.create_task() 转换为任务。任务是协程的封装，表示在未来某个时刻会执行的协程。

常见用法

1. 基本的协程与事件循环

import asyncio

async def hello_world():
    print("Hello")
    await asyncio.sleep(1)  # 模拟异步操作
    print("World")

# 运行事件循环
asyncio.run(hello_world())

在这个例子中：

hello_world() 是一个协程，使用 await 来模拟异步操作（如网络请求、文件读取等）。
asyncio.run() 会启动事件循环并运行协程。

2. 并发运行多个任务

import asyncio

async def task1():
    print("Task 1 started")
    await asyncio.sleep(2)
    print("Task 1 finished")

async def task2():
    print("Task 2 started")
    await asyncio.sleep(1)
    print("Task 2 finished")

async def main():
    await asyncio.gather(task1(), task2())  # 并发执行任务

asyncio.run(main())

在这个例子中：

asyncio.gather() 用来并发运行多个协程任务。
task1() 和 task2() 会同时启动，而不会彼此阻塞，事件循环会调度它们并处理异步等待。

3. 异步 I/O 示例（例如，异步网络请求）

假设我们想要异步地进行多个网络请求，使用 aiohttp 库可以实现这一点：

import asyncio
import aiohttp

async def fetch_url(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = ['http://example.com', 'http://example.org', 'http://example.net']
    tasks = [fetch_url(url) for url in urls]
    responses = await asyncio.gather(*tasks)
    for url, response in zip(urls, responses):
        print(f"Response from {url}: {len(response)} characters")

asyncio.run(main())