Python爬虫基础教程（110）在爬虫中使用Cookies之通过Cookies反爬虫：Cookie攻防战：当爬虫遇上网站的小饼干，是甜蜜陷阱还是通关秘籍？

嘿，伙计们，今天咱们来唠点爬虫世界里那些“甜甜蜜蜜”又“坑坑洼洼”的事儿——Cookie。对，就是你们每次上网，网站塞给你的那块数字“小饼干”。

你可别小看这玩意儿。在爬虫的江湖里，Cookie这厮，它时而是你的“通关文牒”，让你在网站面前像个回头客，大摇大摆；时而又是个“甜蜜陷阱”，专门坑骗那些不懂装懂的小爬虫，让你分分钟“入门到入土”。

第一章：Cookie是个啥？为啥爬虫要啃它？

简单说，Cookie就是网站为了记住你而存放在你浏览器里的一小段信息。 比如你登录了账号，网站就会发一个Cookie给你浏览器，说：“喏，这是你的身份凭证，下次来记得带上，我就不用再问你是谁了。”

那为啥爬虫要跟这玩意儿较劲呢？原因贼简单：

1. 维持登录状态： 你想爬取微博首页？随便爬。但你想爬你女神发的私密朋友圈？对不起，请先登录。登录后的状态，就是靠Cookie来维持的。你的爬虫不带Cookie，在网站眼里就是个“游客”，啥隐私内容都别想看。
2. 应对反爬虫机制： 很多网站的反爬第一道防线就是：“来者何人？出示凭证！”这个凭证，很多时候就是Cookie。没有合法的Cookie，你连门都进不去。
3. 保持会话连续性： 有些操作需要多步完成，比如把商品加入购物车、分页浏览等。网站需要知道“刚才把牙膏加入购物车的是不是你这个人”，这前后关联的会话（Session）信息，就靠Cookie来串联。

所以，爬虫带上Cookie，本质上就是在扮演一个“正常用户”的浏览器行为。 你不会裸奔着去参加前女友的婚礼吧？同理，你的爬虫也别“裸奔”着去访问需要认证的网站。

第二章：攻方基础操作——如何给你的爬虫喂“饼干”

在Python的Requests库里，给爬虫塞Cookie，简单到令人发指。

方法一：手动硬塞——土法炼钢，简单粗暴

你可以直接把浏览器里复制的那一长串Cookie字符串，像戴项链一样给Requests戴上。

import requests

url = 'https://www.zhihu.com/people/mi-luo-65-97'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
# 从浏览器F12里复制的那一长串，看起来就很有安全感（才怪）
cookies_str = 'tgw_l7_4=a1b2c3d4; _zap=5f6g7h8i; KLBRSID=j9k0l1m2...'

# 处理一下，变成字