实战案例：采集 51job 企业招聘信息

本文将带你从零开始，借助 Feapder 快速搭建一个企业级招聘信息数据管道。在“基础概念”部分，我们先了解什么是数据管道和 Feapder；“生动比喻”用日常场景帮助你快速理解爬虫组件；“技术场景”介绍本项目中如何使用代理等采集策略；“实战案例”通过完整代码演示采集 51job 招聘信息并分类存储；最后在“扩展阅读”推荐一些进一步学习的资源。无论你是非技术背景的产品经理，还是校园里的同学，都能轻松上手，快速构建自己的企业级爬虫管道。

一、基础概念

1. 什么是数据管道？

• 数据管道（Data Pipeline）指的是从数据源（如网页、API）到数据仓库（如数据库、文件）的整个流转过程，通常包括数据获取、清洗、存储和监控。
• 在企业级场景下，管道需要稳定可靠、易于扩展，并支持重试、分布式、监控告警等能力。

2. 为什么选 Feapder？

• 轻量易用：基于 Scrapy 设计理念，但更贴合现代 Python 开发习惯。
• 分布式支持：内置分布式队列和调度，水平扩展无压力。
• 插件丰富：支持自定义中间件、Pipeline，持久化、监控简单接入。
• 示例生态：官方及社区提供多种行业示例，快速上手。

二、生动比喻

想象你要送快递：

1. 分拣中心：接收并整理包裹（任务调度）
2. 配送员：拿着包裹去各个地址（爬虫 Worker）
3. 快递柜：存放收集好的包裹（Pipeline 存储）
4. 后台系统：监控每个包裹的状态（监控告警）

Feapder 就是整个快递系统的“物流总控”，帮你把每个环节串起来，保证数据顺利、稳定地流转到最终存储。

三、技术场景

在企业级爬虫中，我们常常会遇到以下需求：

1. 使用代理 IP

• 提升并发时避免 IP 限流和封禁
• 引入爬虫代理：

# 亿牛云爬虫代理示例 www.16yun.cn
域名: proxy.16yun.cn 
端口: 12345  
用户名: 16YUN  
密码: 16IP

2. 设置 Cookie 和 User-Agent

• Cookie：保持登录态或跑通多页
• User-Agent：模拟浏览器请求，降低反爬几率

Feapder 支持在中间件中统一管理这些参数，代码简洁、易维护。

四、实战案例：采集 51job 企业招聘信息

下面我们以 https://www.51job.com 为例，演示如何用 Feapder 搭建完整的爬虫管道，采集岗位名称、职位信息、工作地址、薪资待遇，并分类存储到本地 JSON 文件。

1. 环境准备

# 安装 Feapder 及依赖
pip install feapder requests

2. 项目结构

feapder_job_pipeline/
├── spider.py         # 主爬虫脚本
├── settings.py       # 配置文件
└── pipelines.py      # 数据存储模块

3. 配置文件 settings.py

# settings.py

# ---------- 分布式及队列配置（可选） ----------
# REDIS_HOST = "127.0.0.1"
# REDIS_PORT = 6379
# REDIS_PASSWORD = None

# ---------- 代理设置 亿牛云代理示例 www.16yun.cn------
PROXY = {
   
   
    "domain": "proxy.16yun.cn", # 亿牛云代理域名
    "port": 8100,             # 代理端口
    "username": "16YUN",     # 代理用户名
    "password": "16IP",     # 代理密码
}

# ---------- 中间件配置 ----------
DOWNLOADER_MIDDLEWARES = {
   
   
    # 自定义代理中间件
    "middlewares.ProxyMiddleware": 500,
    # Feapder 默认 UserAgent 中间件
    # "feapder.downloadermiddleware.useragent.UserAgentMiddleware": 400,
}

# ---------- Pipeline 配置 ----------
ITEM_PIPELINES = {
   
   
    "pipelines.JsonPipeline": 300,
}

4. 自定义中间件 middlewares.py

# middlewares.py
import base64
from feapder import Request

class ProxyMiddleware:
    """通过亿牛云代理发送请求的中间件"""

    def process_request(self, request: Request):
        # 构造代理认