Python爬虫基础教程（112）在爬虫中使用Cookies之动态加载反爬虫：别当爬虫界的“饿汉”！Cookie试吃员教你破解动态加载大餐

记得我刚学爬虫那会儿，天真地以为只要一个requests.get()就能吃遍全网数据。结果第一次碰到动态加载页面时，直接懵了——明明浏览器里数据显示得整整齐齐，我的爬虫却只带回来一个光秃秃的HTML骨架，关键数据连影子都没有。

那一刻我才明白，原来网站早就不是傻白甜了，它们学会了“挤牙膏”——你不点不滑不滚动，数据就躲在后面不出来。而Cookie，就是让网站把你当“自己人”的秘密武器。

动态加载：网站跟你玩的“捉迷藏”

什么是动态加载？简单说，就是网站不一次性把所有数据都给你，而是等你操作了（比如滚动页面、点击按钮），再通过JavaScript悄悄去服务器要数据。这就像你去自助餐厅，不是所有菜都摆在外面，有些硬菜得你亲自去点，厨师才现做给你。

为什么网站要这么折腾？除了用户体验，更重要的就是防爬虫。很多新手爬虫就像只认识路标却看不懂手势的外国人——能找到餐厅，但不知道怎么点那些隐藏菜品。

最常见的动态加载有两种：

• 滚动加载：刷微博、知乎时，滚到底部自动加载新内容
• 点击加载：电商网站的分类筛选，点一下才显示结果

我至今记得第一次爬某电商网站的经历。用普通爬虫只能拿到60个商品，但实际上有上万条数据。后来打开开发者工具一看，好家伙，每次滚动到底部，都会有个XHR请求偷偷去服务器取下一批数据，请求头里带着一个神秘的session cookie。

Cookie：你的爬虫“身份证”

如果把HTTP请求比作去夜店，那么Cookie就是你的VIP手环。没有它，保安（服务器）可能只让你在大厅转转；有了它，你才能进入卡座（获取完整数据），甚至还能存酒（保持登录状态）。

Cookie本质上就是服务器发给浏览器的一小段信息，浏览器之后每次请求都会自动带上它。这就像咖啡店的积分卡，店员在上面盖个章，下次你来他们就知道是该给你打折还是该催你充值了。

在爬虫里使用Cookie，主要就两个步骤：

1. 先访问一次网站，把Cookie“骗”到手
2. 带着这个Cookie去请求真实数据

说起来简单，但实际操作时你会发现，网站的反爬虫机制可比咖啡店店员精明多了。

实战：做个合格的Cookie“搬运工”

来，直接上代码，看看怎么让你的爬虫学会“刷脸卡”。

基础版：手动复制Cookie

适合临时抓取，快速验证：

import requests

# 从浏览器开发者工具里复制来的Cookie
headers = {
    'Cookie': 'session_id=abc123; user_token=xyz789',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

response = requests.get('https://examp