《终面倒计时10分钟：用asyncio协程池破解高并发IO阻塞》

最新推荐文章于 2025-12-18 16:01:00 发布

原创最新推荐文章于 2025-12-18 16:01:00 发布 · 485 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#asyncio #协程池 #阻塞IO #性能优化

Python面试场景题专栏收录该内容

595 篇文章

订阅专栏

候选人回答：

面试官：最后10分钟，我们来聊点有趣的：你如何优化一个高并发的IO密集型任务？假设你有一个需要同时处理1000个异步HTTP请求的任务，当前实现使用同步阻塞方式，导致CPU空闲率高且响应时间长。你能提出一个解决方案吗？

候选人：哇，这个问题听起来就像一场激烈的赛车比赛！我们知道，同步阻塞就像一辆老旧的老爷车，每次只能走一条路，而异步协程就像一辆无人驾驶的超级跑车，可以同时在多条赛道上飞驰！所以，我们要做的就是把这辆老爷车换成超级跑车，用asyncio来解决这个问题。

解决方案概述：

使用asyncio协程：将同步的HTTP请求改为异步请求，利用aiohttp库来处理异步的HTTP请求。
协程池管理：通过asyncio的事件循环来管理并发任务，避免一次性启动所有任务导致资源耗尽。
优化并发能力：使用asyncio.as_completed或asyncio.gather来高效调度任务执行，确保资源利用最大化。

代码实现：

1. 安装依赖库

首先，我们需要安装aiohttp库来处理异步HTTP请求：

pip install aiohttp

2. 异步HTTP请求

我们将使用aiohttp来发送异步HTTP请求，并通过asyncio来管理并发任务。

import asyncio
import aiohttp

async def fetch_url(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main(urls):
    # 创建一个异步会话
    async with aiohttp.ClientSession() as session:
        # 使用 `asyncio.gather` 并发执行所有任务
        tasks = [fetch_url(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        return results

# 模拟1000个URL
urls = [f"https://example.com/page{i}" for i in range(1000)]

# 运行异步任务
if __name__ == "__main__":
    asyncio.run(main(urls))

3. 使用`asyncio.as_completed`优化

如果我们希望在任务完成时立即处理结果，可以使用asyncio.as_completed：

import asyncio
import aiohttp

async def fetch_url(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main(urls):
    # 创建一个异步会话
    async with aiohttp.ClientSession() as session:
        # 创建任务列表
        tasks = [asyncio.create_task(fetch_url(session, url)) for url in urls]
        
        # 使用 `asyncio.as_completed` 按完成顺序处理结果
        for future in asyncio.as_completed(tasks):
            result = await future
            print(f"Received result: {result[:50]}...")  # 打印部分结果

# 模拟1000个URL
urls = [f"https://example.com/page{i}" for i in range(1000)]

# 运行异步任务
if __name__ == "__main__":
    asyncio.run(main(urls))

4. 优化并发能力

为了防止一次性启动太多任务导致系统负载过高，我们可以使用asyncio.Semaphore来限制并发数量：

import asyncio
import aiohttp
from asyncio import Semaphore

async def fetch_url(session, url, semaphore):
    async with semaphore:
        async with session.get(url) as response:
            return await response.text()

async def main(urls, max_concurrent=100):
    # 创建一个异步会话
    async with aiohttp.ClientSession() as session:
        # 创建信号量，限制并发数
        semaphore = Semaphore(max_concurrent)
        
        # 创建任务列表
        tasks = [fetch_url(session, url, semaphore) for url in urls]
        
        # 使用 `asyncio.gather` 并发执行任务
        results = await asyncio.gather(*tasks)
        return results

# 模拟1000个URL
urls = [f"https://example.com/page{i}" for i in range(1000)]

# 运行异步任务
if __name__ == "__main__":
    asyncio.run(main(urls, max_concurrent=100))