requests + asyncio 异步爬虫

关注

原创最新推荐文章于 2026-11-01 10:55:10 发布 655 阅读 AI 写同款· GEO 优化 ›

同步爬虫太慢了！aiohttp+asyncio异步实战：单机并发直接提升100倍摘要本文通过对比同步与异步爬虫的性能差异，揭示异步爬虫的速度优势（实测提升102倍）。文章首先分析同步爬虫慢的原因在于等待网络响应时CPU闲置，而异步爬虫通过并发请求实现高效利用。核心内容包括：异步基础概念：讲解协程、事件循环和任务三大核心机制 aiohttp实战：演示GET/POST请求、请求头设置等基础用法工业级爬虫实现：提供完整异步爬虫架构，包含并发控制、异常处理和HTML解析性能优化技巧：通过信号量控制并发数，使用连接池复用TCP连接文中所有代码均经过实测，帮助开发者将爬虫性能提升数十倍。阅读详情

import requests
import os
import asyncio

async def asyncget(url,headers):
    return requests.get(url,headers=headers,verify=False)

async def download(url,headers,fileDir,filename=None):

    if filename == None:
        filename = url[url.rfind("/")+1:]
    if fileDir == None:
        fileDir = "./files"

    if not os.path.exists(fileDir):
        print("亲，输入的目录不存在哦，下面将自动创建 "+ fileDir)
        os.makedirs(fileDir)
    
    filepath = os.path.join(fileDir,filename)

    if os.path.exists(filepath):
        print("亲，文件",filepath,"已经存在哦")
        return
    
    response =  await asyncget(url,headers=headers)

    with open(filepath,"wb") as fp:
        fp.write(response.content)
    print("亲，文件",filepath,"写入完成哦")


if __name__ == "__main__":
    headers ={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }
    urls = [
        "http://wx1.sinaimg.cn/mw600/00893JKXly1gikm1th96cj30u015b1a9.jpg",
        "http://wx1.sinaimg.cn/mw600/00893JKXly1gikm1lkcxdj30sg18g0zh.jpg",
        "http://wx2.sinaimg.cn/mw600/005QrDFkly1gfl4phpqvaj31w91w9x20.jpg"
    ]

    asyncio.run(
        asyncio.wait(
            [download(url=url,headers=headers,fileDir="imgs") for url in urls]
        )
    )