使用 Python 异步爬虫抓取豆瓣电影Top250排行榜

导读

在现代网络爬虫开发中，面对 海量网页数据、慢速响应的网络接口，传统的同步爬虫方式已经不能满足高效抓取需求。本文将手把手带你构建一个 基于 aiohttp + asyncio 的异步爬虫系统，实战目标是抓取豆瓣电影 Top250 排行榜中的电影名称、评分和详情页地址。

目录

导读

一、项目目标与网站结构分析

二、依赖模块与环境准备

三、并发控制：Semaphore 机制

 四、请求与解析核心逻辑（fetch 函数）

五、构建主控制器 main()

六、主程序入口与性能测量

七、运行结果示例（部分）

八、异步爬虫优势总结

九、可改进的方向

十、完整代码

 

---

一、项目目标与网站结构分析

目标网站：

豆瓣电影 Top 250

每页展示 25 部电影，共 10 页。

分页参数位于 URL 中：

https://movie.douban.com/top250?start=0
https://movie.douban.com/top250?start=25
...
https://movie.douban.com/top250?start=225

页面信息结构：

使用开发者工具查看，每一部电影的基本信息位于：

<ol class="grid_view">
  <li>  <!-- 每部电影 -->
    <div class="item">
      <div class="info">
        <span class="title">电影名称</span>
        <span class="rating_num">评分</span>
        <a href="电影链接">详情页</a>
      </div>
    </div>
  </li>
</ol>

二、依赖模块与环境准备

所需库：

pip install aiohttp lxml

导入模块：

import asyncio
import aiohttp
from lxml import etree
import time

模块解释：

• asyncio：Python 的异步编程基础，负责事件循环和任务调度。

• aiohttp：异步 HTTP 请求客户端。

• lxml.etree：高性能 HTML 解析库，支持 XPath。

• time：用于性能测量。

三、并发控制：Semaphore 机制

CONCURRENCY = 2
semapho