涛哥聊Python | aiohttp，一个有趣的 Python 库！

本文来源公众号“涛哥聊Python”，仅用于学术分享，侵权删，干货满满。

原文链接：aiohttp，一个有趣的 Python 库！

大家好，今天为大家分享一个有趣的 Python 库 - aiohttp

Github地址：https://github.com/aio-libs/aiohttp

在Python异步编程领域中，aiohttp库以其强大的功能成为构建高效可扩展的Web应用程序的重要工具。它利用asyncio提供异步HTTP客户端和服务器功能，使其成为处理并发请求和优化性能的理想选择。在本全面指南中，将深入探讨aiohttp库，包括安装方法、特性、基本和高级功能、实际应用场景，并最终总结其主要优势和用例。

1 安装

在深入探讨aiohttp的特性和功能之前，让我们先来安装这个库。

可以使用以下命令使用pip安装aiohttp：

pip install aiohttp

安装完成后，可以开始探索其功能。

2 特性

2.1. 异步客户端和服务器

aiohttp的核心特性之一是其支持异步客户端和服务器实现。这使得开发者可以编写非阻塞代码，实现对多个请求的高效处理。

2.2. HTTP客户端

aiohttp提供了强大的HTTP客户端，可以进行异步HTTP请求。它支持各种HTTP方法，如GET、POST、PUT、DELETE等，并允许自定义标头、参数和载荷。

2.3. Web服务器

该库还包括一个轻量级的异步Web服务器，可以异步处理HTTP请求和响应。它支持路由、中间件和WebSocket集成，适用于构建异步Web应用程序。

2.4. 客户端会话

aiohttp的客户端会话功能简化了对持久连接、cookie和身份验证在多个HTTP请求中的管理，提高了客户端和服务器之间通信的效率。

3 基本功能

通过一些代码示例来了解aiohttp的一些基本功能：

3.1 发送GET请求

import aiohttp
import asyncio

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    url = 'https://jsonplaceholder.typicode.com/posts/1'
    data = await fetch_data(url)
    print(data)

asyncio.run(main())

3.2 处理POST请求

import aiohttp
import asyncio

async def send_data(url, payload):
    async with aiohttp.ClientSession() as session:
        async with session.post(url, json=payload) as response:
            return await response.text()

async def main():
    url = 'https://jsonplaceholder.typicode.com/posts'
    payload = {'title': 'foo', 'body': 'bar', 'userId': 1}
    response = await send_data(url, payload)
    print(response)

asyncio.run(main())

4 高级功能

4.1 WebSocket支持

aiohttp内置了对WebSocket通信的支持，实现了客户端和服务器之间实时的双向数据交换。

以下是aiohttp中使用WebSocket的示例：

import aiohttp
import asyncio

async def websocket_handler(request):
    ws = aiohttp.web.WebSocketResponse()
    await ws.prepare(request)

    async for msg in ws:
        if msg.type == aiohttp.WSMsgType.TEXT:
            await ws.send_str(f'Hello, {msg.data}')
        elif msg.type == aiohttp.WSMsgType.ERROR:
            print('WebSocket connection closed with exception:', ws.exception())

    return ws

app = aiohttp.web.Application()
app.router.add_get('/ws', websocket_handler)
aiohttp.web.run_app(app)

4.2 中间件和路由

aiohttp允许定义中间件函数进行请求处理，并支持灵活的路由机制，将URL映射到请求处理程序。这使得开发者可以实现自定义逻辑，如身份验证、日志记录、错误处理等。

import aiohttp
from aiohttp import web

async def middleware_handler(request, handler):
    print("Middleware before handling request")
    response = await handler(request)
    print("Middleware after handling request")
    return response

async def index(request):
    return web.Response(text="Hello, World!")

app = web.Application(middlewares=[middleware_handler])
app.router.add_get('/', index)

if __name__ == "__main__":
    web.run_app(app)

在上面的示例中，定义了一个简单的中间件函数middleware_handler，它在处理请求之前和之后打印一些信息。然后创建了一个Web应用程序app，并将中间件函数传递给middlewares参数。最后，通过路由将/路径映射到index处理函数，并使用web.run_app(app)运行应用程序。

5 实际应用场景

5.1. 异步Web爬虫

aiohttp的异步能力使其非常适合处理同时从多个来源获取数据的Web爬虫任务。

以下是使用aiohttp进行异步Web爬虫的简化示例：

import aiohttp
import asyncio

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = ['https://example.com/page1', 'https://example.com/page2']
    tasks = [fetch_data(url) for url in urls]
    results = await asyncio.gather(*tasks)
    print(results)

asyncio.run(main())

5.2. 异步API集成

使用aiohttp的异步客户端功能，可以高效地与异步API或微服务进行集成，同时处理多个请求。

import aiohttp
import asyncio

async def fetch_data_from_api(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.json()

async def main():
    api_urls = ['https://jsonplaceholder.typicode.com/posts/1',
                'https://jsonplaceholder.typicode.com/posts/2']
    
    tasks = [fetch_data_from_api(url) for url in api_urls]
    results = await asyncio.gather(*tasks)
    
    for result in results:
        print(result)

asyncio.run(main())

在上面的示例中，定义了一个异步函数fetch_data_from_api，它使用aiohttp库中的ClientSession对象异步获取API的数据并将其解析为JSON格式。然后，在main函数中，列出了要获取数据的多个API的URL，并创建了异步任务列表tasks，每个任务都是调用fetch_data_from_api函数并传递API的URL。最后，使用asyncio.gather函数等待所有任务完成并获取结果。

6 总结

aiohttp库为构建异步Web应用程序、高效处理HTTP请求和响应以及集成WebSocket通信提供了一套强大而灵活的工具和功能。其异步特性实现了高并发和优化性能，使其成为现代Web应用程序开发中不可或缺的工具。无论是异步Web爬虫、API集成还是实时通信，aiohttp都展现出了其在Python生态系统中的多功能和强大之处。

THE END!

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。