python 爬虫(cookie)到底是干嘛的？_爬虫中cookie的作用-优快云博客

本文链接：https://blog.youkuaiyun.com/Saki_Python/article/details/135950151

本文介绍了cookie和session的区别，阐述了在爬虫中如何处理和利用cookie及session进行请求，特别是如何携带cookie请求登录后的页面。还讨论了不使用post请求，仅凭cookie获取登录后内容的方法，并列举了三种获取登录后页面的方式。文章最后提到了在实际操作中要注意的问题，以及学习和实践Python爬虫的福利。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cookie和session区别

cookie数据存放在客户浏览器上，session数据放在服务器上
cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗
session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。
单个cookie保存的数据不能超过4K，很多浏览器限制到一个站点最多保存20个cookie

爬虫处理cookie和session

带上cookie、session的优点:

能够请求到登录后页面

带上cookie、session的弊端:

不需要cookie的时候尽量不去使用cookie
但是为了获取登录后的页面，我们必须发送带有cookie的请求

一套cookie和session往往和一个用户对应

请求太快、请求次数太多、容易被服务器识别为爬虫

携带cookie的请求

携带一堆cookie进行请求，把cookie组成cookie池

处理cookie、session请求

requests提供了一个叫做session类，来实现客户端和服务端的会话保持

使用方法:

实例化一个session对象
session发送get或者post请求

session = requests.session()
resp = session.get(url,headers)

请求登录之后的网站

未登录时我们无法直接通过url地址访问用户信息页

实例化session
先使用session发送请求，登录网站，把cookie保存在session中
再使用session请求登录之后才能访问的网站，session能够自动的携带登录成功是保存在其中的cookie，进行请求

import requests
session=requests.session()
port_url='http://www.renren.com/PLogin.do'
post_data={}
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36"}