Python进阶必学库：使用asyncio实现协程爬虫_python asyncio 爬虫-优快云博客

本文链接：https://blog.youkuaiyun.com/github_39463644/article/details/97249137

本文介绍了Python中使用asyncio库实现协程爬虫的方法，对比了同步爬虫、多线程爬虫的效率，并展示了如何通过async/await实现异步请求，提高爬虫性能。通过实例代码，展示了如何使用aiohttp和asyncio优化爬虫，最终实现2.79秒完成任务，相较于同步爬虫的15.5秒有了显著提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python进阶必学库：使用asyncio实现协程爬虫

HackPython致力于有趣有价值的编程教学

简介

asyncio是Python3.x中比较复杂的概念?，虽然在前面已经有了《百万「并发」基础之异步编程》的内容，但对asyncio并没有比较系统的讲解，所以这里再次讨论一下asyncio，利用asyncio实现一个简单的协程爬虫?。

同步的爬虫

为了便于理解，这里先以不同的方式写个爬虫，为了简单起见，这里爬取一个豆瓣电影广州地区最新的电影资源?，地址为：https://movie.douban.com/cinema/later/guangzhou/。

因为访问这个界面不需要登录，所以简单几行代码即可获得其中的信息，代码如下：

import requests
from bs4 import BeautifulSoup

from utils import run_time

@run_time
def spider():
    url = 'https://movie.douban.com/cinema/later/guangzhou/'
    headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    res = requests.get(url, headers=headers).text

    soup = BeautifulSoup(res, 'lxml')

    all_movies = soup.find('div', id='showing-soon')

    # 查找 class 名称为 item 的 div 元素
    for each_movie in all_movies.find_all('div', class_='item'):
        all_a_tag = each_movie.find_all('a')
        all_li_tag = each_movie.find_all('li')
        movie_name = all_a_tag[1].text
        url_to_fetch = all_a_tag[1]['href']
        movie_data = all_li_tag[0].text
        res2 = requests.get(url_to_fetch).text
        soup2 = BeautifulSoup(res2, 'lxml')
        img_tag = soup2.find('img')['src']
        print(f'电影名称: {movie_name}, 电影上映日期: {movie_data}, 缩略图: {img_tag}')

run_time 是一个装饰器?，用于打印spider()方法总共的运行时间，简单看一下spider()中的逻辑，主要就是一个for循环，循环中会获得电影名称，上映时间，缩略图url等信息?，输出如下：

python 1.py
电影名称: 隧道尽头, 电影上映日期: 07月25日, 缩略图: https://