1、 什么是Cooki
Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站时,由Web服务器置于你硬盘上的一个非常小的文本文件,它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。
当你再次来到该网站时,网站通过读取Cookies,得知你的相关信息,就可以做出相应的动作,如在页面显示欢迎你的标语,或者让你不用输入ID、密码就直接登录等等
2、如何寻找cookie(以微博为例)
step1:访问 https://www.weibo.cn 通过自己的账户密码登入到自己的微博首页,找到自己的个人信息主页。
step2:在键盘上输入F12,或点击鼠标右键检查进入到如下页面
step3:在检查中找到网络中的请求头
3、如何在爬虫中运用cookie绕过登录去访问页面
访问的链接(以微博为例)
# 该链接为你的个人主页链接
url = 'https://weibo.cn/6866827694/info'
请求的定制
(其中cookie为之前查询到的cookie,user-agent