爬虫对抗：网络请求分析与基础反爬（IP限制、User-Agent、频率检测）

网络请求分析与基础反爬（IP限制、User-Agent、频率检测）

一、从一次失败的请求说起

昨晚调试ZLibrary搜索接口时，连续三次返回403。同样的代码昨天还能跑通，今天突然失效。打开浏览器手动访问，页面正常加载——典型的反爬机制生效了。这种“昨天能跑今天挂”的情况，往往是触发了基础防护层。我们得从网络请求的底层开始拆解。

二、请求头里的猫腻

抓包对比浏览器请求和爬虫请求，发现三个关键差异点：

# 错误示范：这种简陋的headers等于自报家门
headers = {
   
   
    'User-Agent': 'python-requests/2.28.1'  # 这里踩过坑，直接暴露爬虫身份
}

# 调整后方案
headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Accept-Encoding': 'gzip, deflate, br'