python并发网络请求--aiohttp

最新推荐文章于 2025-04-10 15:29:07 发布

默默前行的旅者

最新推荐文章于 2025-04-10 15:29:07 发布

阅读量467

点赞数 9

文章标签： python 开发语言

本文链接：https://blog.youkuaiyun.com/weixin_43229819/article/details/135544269

版权

本文介绍了如何使用Python的aiohttp库实现异步HTTP请求，通过asyncio的并发特性，一次性处理5000个URL的GET请求，提高效率。展示了如何创建任务、执行和处理响应的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        urls = ["http://example.com" for _ in range(5000)]  # 假设有5000个请求
        tasks = []
        for url in urls:
            task = asyncio.ensure_future(fetch(session, url))  # 创建任务
            tasks.append(task)
        responses = await asyncio.gather(*tasks)  # 并发执行任务
        # 处理响应...

# 运行异步主函数
loop = asyncio.get_event_loop()
loop.run_until_complete(main())