Python爬虫基础教程（35）Python Scrapy爬虫框架实战：糗事百科之Scrapy项目中间件——添加headers：Scrapy爬虫实战：轻松搞定糗事百科，headers设置秘籍大公开！

还在为爬虫被网站封禁而烦恼吗？掌握这些headers技巧，让你的爬虫像浏览器一样自然浏览网页！

一、Scrapy框架：为什么它比Requests更强大？

作为一名爬虫初学者，我曾经傻傻地认为Requests+BeautifulSoup就是爬虫的全部世界。直到我遇到了Scrapy，才发现传统爬虫工具需要手动处理请求调度、并发管理和异常处理，而Scrapy提供了一个完整的爬虫工作流管理系统。

Scrapy到底有多强？ 基于Twisted异步引擎，Scrapy能轻松实现高并发请求，配合中间件机制可应对各种反爬策略。有行业报告显示，2025年使用Scrapy的电商爬虫案例中，每日可稳定处理2.1亿条数据，分布式部署后性能更能提升300%！

把Scrapy想象成一家餐厅的完整运营系统：

• 引擎 = 前厅经理（协调各部门）
• 调度器 = 排号系统（管理请求顺序）
• 下载器 = 采购员（获取网页内容）
• 爬虫 = 厨师（解析数据）
• Pipeline = 服务员（数据存储）

而中间件就像是餐厅的特派员，能在请求和响应过程中插入自定义处理逻辑，这正是我们今天要重点讲解的headers设置关键所在！

二、环境准备与项目创建：30分钟快速启动

2.1 安装Scrapy

首先，确保你的Python环境是3.8+版本，然后在终端中执行：

pip install scrapy

如果你是Windows用户，可能还需要安装额外的依赖：

pip install pypiwin32

对于Ubuntu用户，建议提前安装这些依赖：

sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

新手必看：强烈建议先使用python -m venv .venv创建虚拟环境，激活后再安装依赖，这样可以避免环境冲突问题！

2.2 创建Scrapy项目

安装完成后，让我们创建一个爬取糗事百科的项目：

scrapy startproject qiushibaike
cd qiushibaike
scrapy genspider qsbk qiushibaike.com

这三条命令分别完成了：

1. 创建名为"qiushibaike"的项目结构
2. 进入项目目录
3. 生成一个名为"qsbk"的爬虫文件，目标域名是qiushibaike.com

创建完成后，你的项目结构应该如下所示：

qiushibaike/
    scrapy.cfg           # Scrapy配置文件
    qiushibaike/         # 项目Python模块
        __init__.py
        items.py         # 数据模型定义
        middlewares.py   # 中间件配置（重点！）
        pipelines.py     # 数据持久化处理
        settings.py      # 项目设置
        spiders/         # 爬虫目录
            __init__.py
            qsbk.py      # 刚生成的爬虫文件

三、糗事百科页面分析与爬虫设计

3.1 目标分析

在开始编码前，一定要先手动分析目标网站！这是我曾经踩过的坑：没发现用户URL规律，白写了300行代码...

糗事百科的段子列表页URL为：https://www.qiushibaike.com/text/page/