Python爬虫实战：利用代理IP获取招聘网站信息（小白也能搞定！）

关注

原创最新推荐文章于 2026-03-10 02:01:37 发布 891 阅读 AI 写同款· GEO 优化 ›

【python爬虫】在scrapy中利用代理IP（爬取BOSS直聘网）同学们好，我又滚回来更新了，这一次我们要爬取的目标是BOSS直聘，BOSS直聘可以说是反爬虫一个很好的例子了，主要在于如果你访问他的次数过多，他就会出现验证码，要求你通过验证才能继续看，这样还算可以，但是如果你之后还继续访问过多，那么就会出现以下画面直接连填写验证码的机会都没有，就是不给你看，这么做可以说是很霸气了，不过对方有招，我们也是不差的，既然对方来封我们的IP了，那么我们就不用这个IP... 阅读详情

文章目录

一、为什么要用代理IP？（重要！！！）

做爬虫的兄弟应该都遇到过这种情况（说多都是泪）：刚抓了几页数据，突然就收到403 Forbidden错误！这时候代理IP就是你的救命稻草（超级重要）！

简单来说，代理IP能：

隐藏真实IP地址（防止被ban）
突破访问频率限制（疯狂刷数据必备）
获取地域限制内容（比如看不同城市的招聘信息）

不过要注意（敲黑板）：使用代理IP也要遵守《网络安全法》和网站的服务协议哦！

二、手把手实战环节（附完整源码）

2.1 环境准备（保姆级教程）

安装必备库：

pip install requests beautifulsoup4 fake-useragent

这里推荐使用fake-useragent库生成随机请求头（反爬虫必备技巧）

2.2 获取代理IP的三种姿势

姿势一：免费代理网站（适合练手）

def get_free_proxies():
    url = 'https://www.zdaye.com/free/'
    # 这里记得设置超时时间（免费代理质量你懂的）
    response = requests.get(url, timeout=10)
    # 用BeautifulSoup解析IP和端口（具体选择器根据网站结构调整）
    soup = BeautifulSoup(response.text, 'lxml')
    # 提取代理IP的代码逻辑...
    return proxies_list

姿势二：付费代理服务（推荐生产环境用）

推荐使用隧道代理（代码更简洁）：

# 以某云代理为例
proxy = "http://{username}:{password}@{server}:{port}"

姿势三：自建代理池（进阶玩法）

需要配合：

定时验证IP可用性
自动剔除失效IP
实现IP轮询机制

2.3 核心爬虫代码（重点来了！）

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

def get_job_data(keyword, proxy=None):
    headers = {'User-Agent': UserAgent().random}
    url = f"https://www.liepin.com/zhaopin/?key={keyword}"
    
    try:
        # 使用代理发起请求
        response = requests.get(url, 
                              headers=headers,
                              proxies={'http': proxy, 'https': proxy},
                              timeout=15)
        
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')
            # 解析职位信息的CSS选择器（不同网站要调整）
            jobs = soup.select('.job-card-wrapper')
            
            results = []
            for job in jobs:
                title = job.select_one('.job-title').text.strip()
                company = job.select_one('.company-name').text.strip()
                salary = job.select_one('.salary').text.strip()
                results.append({'title':title, 'company':company, 'salary':salary})
            
            return results
        else:
            print(f"请求失败，状态码：{response.status_code}")
            return []
            
    except Exception as e:
        print(f"发生异常：{str(e)}")
        return []

三、防翻车指南（血泪经验）

3.1 代理IP的五大坑（必看！）

免费代理的存活时间可能只有几分钟（甚至几秒钟！）
某些代理会修改响应内容（数据被篡改哭都来不及）
HTTPS代理需要额外配置证书（建议先用HTTP练手）
注意代理的匿名程度（透明代理会暴露真实IP）
高匿代理 ≠ 无敌（网站还能通过浏览器指纹识别）

3.2 我的调试技巧

先用本地IP测试解析逻辑
添加请求重试机制（推荐使用retrying库）
记录每个代理的响应时间
定期检查获取的数据完整性

# 重试机制示例
from retrying import retry

@retry(stop_max_attempt_number=3, wait_fixed=2000)
def safe_request(url, proxy):
    return requests.get(url, proxies=proxy, timeout=10)

四、数据存储方案（三种任选）

方案一：CSV文件（适合小数据量）

import csv

def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

方案二：MySQL数据库（推荐结构化存储）

import pymysql

def save_to_mysql(data):
    conn = pymysql.connect(host='localhost',
                         user='root',
                         password='123456',
                         database='jobs')
    # 建表语句和插入逻辑...

方案三：MongoDB（适合非结构化数据）

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['job_database']
collection = db['liepin_jobs']
collection.insert_many(data)

五、法律风险提示（重要！重要！重要！）

遵守目标网站的robots.txt协议
控制请求频率（建议≥3秒/次）
不抓取个人信息等敏感数据
商用前务必获得网站授权
注意《数据安全法》相关规定

六、完整项目结构参考

├── config.py        # 配置文件
├── proxies_pool     # 代理池模块
│   ├── collector.py # 代理采集
│   └── validator.py # 代理验证
├── spiders          # 爬虫核心
│   └── liepin.py    # 猎聘爬虫
├── utils            # 工具类
│   ├── logger.py    # 日志记录
│   └── storage.py   # 存储模块
└── requirements.txt # 依赖库