python 爬虫(cookie)到底是干嘛的？

cookie和session区别

• cookie数据存放在客户浏览器上，session数据放在服务器上
• cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗
• session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。
• 单个cookie保存的数据不能超过4K，很多浏览器限制到一个站点最多保存20个cookie

爬虫处理cookie和session

带上cookie、session的优点:

能够请求到登录后页面

带上cookie、session的弊端:

• 不需要cookie的时候尽量不去使用cookie
• 但是为了获取登录后的页面，我们必须发送带有cookie的请求

一套cookie和session往往和一个用户对应

请求太快、请求次数太多、容易被服务器识别为爬虫

携带cookie的请求

携带一堆cookie进行请求，把cookie组成cookie池

处理cookie、session请求

requests提供了一个叫做session类，来实现客户端和服务端的会话保持

使用方法:

1. 实例化一个session对象
2. session发送get或者post请求

session = requests.session()
resp = session.get(url,headers)

请求登录之后的网站

未登录时我们无法直接通过url地址访问用户信息页

• 实例化session
• 先使用session发送请求，登录网站，把cookie保存在session中
• 再使用session请求登录之后才能访问的网站，session能够自动的携带登录成功是保存在其中的cookie，进行请求

import requests
session=requests.session()
port_url='http://www.renren.com/PLogin.do'
post_data={}
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36"}

不发送post请求，使用cookie获取登录后的页面

• cookie过期时间很长的网站
• 在cookie过期之前能够拿到所有的数据，比较麻烦
• 配合其他程序一起使用，其他程序专门获取cookie,当程序专门请求页面

获取登录后的页面三种方式

• 实例session,使用session方发送post请求，在使用他登录后的页面
• header中添加cookie键,值为cookie字符串
• 在请求方法中添加cookie参数，受字典形式的cookie。字典形式的cookie中的键是cookie的name,值是cookie的value

---------------------------END---------------------------

题外话

感谢你能看到最后，给大家准备了一些福利！

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。


👉优快云大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python兼职渠道推荐*

学的同时助你创收，每天花1-2小时兼职，轻松稿定生活费.

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉优快云大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

若有侵权，请联系删除