python爬虫cookie的使用包括已经登录和未登录两种情况

Python接口自动化 提示身份未登录问题解决 (一) Python接口自动化 提示身份未登录问题解决 阅读详情

记录的身份信息 cookie
已经登陆过的cookie来进入网站

在这里插入图片描述在这里插入代码片

没有登陆过的cookie来进入网站
在这里插入图片描述from urllib.request import Request,urlopen
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor,build_opener
#登录
login_url = “https://music.163.com/weapi/login/qrcode/client/login?csrf_token=”
headers = {
“User-Agent”:UserAgent
}
form_data = {
“user”:“12312412345”,
“passwword”:“1q3ww131”
}
f_data = urlencode(form_data)
request = Request(login_url,headers = headers,data = f_data)
handler = HTTPCookieProcessor()
opener = build_opener(handler)
response = urlopen(request)
response = opener.open(request)
#访问页面
info_url = “https://music.163.com/”
request = Request(info_url,headers = headers)
response = opener.open(request)
print(response.read().decode())
已登录的源代码

from urllib.request import Request,urlopen
from fake_useragent import UserAgent
url = "https://music.163.com/"
headers = {
    "User-Agent":UserAgent
    "Cookie":"_ntes_nnid=9cb6ff3314be2f27234c191923be4967,1620718658806"
}
request = Request(url,headers = headers)
response = urlopen(request)
print(response.read().decode())

#未登录的源代码
from urllib.request import Request,urlopen
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor,build_opener
#登录
login_url = "https://music.163.com/weapi/login/qrcode/client/login?csrf_token="
headers = {
    "User-Agent":UserAgent
}
form_data = {
    "user":"12312412345",
    "passwword":"1q3ww131"
}
f_data = urlencode(form_data)
request = Request(login_url,headers = headers,data = f_data)
handler = HTTPCookieProcessor()
opener = build_opener(handler)
response = urlopen(request)
response = opener.open(request)
#访问页面
info_url = "https://music.163.com/"
request = Request(info_url,headers = headers)
response = opener.open(request)
print(response.read().decode())

Python网络爬虫模拟登录与验证解析 在互联网上存在大量需要登录才能访问的网站,要爬取这些网站,就需要学习爬虫的模拟登录。对于一个需要登录才能访问的网站,它的页面在登录前和登录后可能是不一样的。 阅读详情

相关推荐

Python网络爬虫实战——模拟登录!

对于一个网站的首页来说,它可能需要你进行登录,比如知乎,同一个URL下,你登录与未登录当然在右上角个人信息那里是不一样的。 Python资源共享群:626017123 (登录过) (未登录) 那么你在用爬虫爬取的时候获得的页面究竟是哪个呢? 肯定是第二个,不可能说你不用登录就可以访问到一个用户自己的主页信息,那么是什么让同...

Pythoncxy的博客 1098

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面安装chromedriver新建爬虫zhihu.py获取浏览器真实的User-Agent执行验证 selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)...

灵动的艺术的博客 5043

Python爬虫通过cookie跳过登录访问页面

cookie的介绍、如何寻找页面的cookie、cookie在python爬虫中的应用

hlj0101的博客 2940

HTTP协议 (七) Cookie

Cookie是HTTP协议中非常重要的东西, 之前拜读了Fish Li 写的【细说Cookie】, 让我学到了很多东西。Fish的这篇文章写得太经典了。 所以我这篇文章就没有太多内容了。  最近我打算写一个系列的HTTP文章,我站在HTTP协议的角度, 说说我对Cookie的理解。   阅读目录 Cookie是什么,有什么用,为什么要用到Cookie Cookie的分类 Cooki...

weixin_34175509的博客 416

scrapy淘宝爬虫(通过模拟登录获取cookie)获取价格信息评论

项目要求:爬取淘宝某领域下的商品名称,价格,评论。 (我贼怂,如果阿里巴巴的朋友发现,请联系我,我立刻删帖,谢谢。) 一、构思流程 模拟登陆获取cookiescrapy爬取数据 二、分步分析 (一)、测试cookie是否能够满足我们爬取相应数据的要求 (确定了cookie能满足我们的需求,才能确保项目的可行性) 1、安装scrapy框架(直接pip安装就行) pip install scrapy ...

weixin_45938100的博客 4202

python aiohttp cookie解析问题

python aiohttp cookie解析问题 最近在做毕业设计,是关于网络爬虫的,并且是使用python3.6版本async/await式的协程进行网络下载的。其中要爬取的网站需要登录,也是使用cookie保持登录状态的,于是我像使用requests时一样,准备使用session来自动保存登录cookie,以便在后续使用这个session继续爬取数据,然后发现了问题 问题 无论如何,a...

just do it! 5348

利用cookie和redis实现页面未登录拦截功能

利用cookie和redis实现页面未登录拦截功能

weixin_50433115的博客 383

新手避坑指南:用SARScape 5.6.2处理Sentinel-1数据做SBAS-InSAR,这些参数设置错了白忙活

本文详细介绍了使用SARScape 5.6.2处理Sentinel-1数据做SBAS-InSAR时的关键参数设置技巧,帮助新手避免常见错误。重点解析了连接图生成、干涉工作流、DEM处理等环节的12个关键参数,包括Max Normal Baseline、Unwrapping Coherence Threshold等,提供实测安全值范围和优化建议,确保处理效率和结果准确性。

weixin_30694389的博客 557

python爬虫使用Cookie的两种方法

场景:当我们以未登录身份使用浏览器访问一个看书的相关网址时,只显示了亚马逊的购买链接。隐藏了书籍的下载链接。但是当我们登录以后,下载链接会显示出来,这样在爬虫的时候,可以把下载链接解析出来使用。登录前后网页Headers-Request Headers显示的Cookie不同。下图为浏览器和Web服务器之间的交互,也显示了Cookie的信息。Cookie的引文原意是“点心”,它是在客户端访问Web服...

写IT博客的我,读math博客的你 7万+

小华半导体HC32芯片开发使用说明

HC32F/L系列MCU在Keil MDK和IAR Workbench环境下通过工程样例进行软件开发。

小布的芯视角 5631

Android dex, odex, oat, vdex, art文件介绍

下图可以简化将Java源转换为OAT的过程: .dex Dalvik虚拟机字节码文件 .vdex 其中包含APK的未压缩DEX代码,以及一些旨在加快验证速度的元数据 .odex .oat // JIT,Just-in-time,即时编译,边运行边编译; // AOT,Ahead Of Time,提前编译,指运行前编译。 其中包含APK中已经过AOT编译的方法代码。 原始DEX文件(例如classes.dex)被转换为另一个包含本机代码的文件。这个新文件通常具有.odex。.oat扩展名,并由ELF格式

he980725866的博客 3620

selenium中使用cookie登录

✍转载自:https://www.cnblogs.com/CYHISTW/p/11685846.html 前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户,有些简单的网站我们可以简单的send key来输入账户密码就可以登录,但是有很多网站需要验证码之类的就不太好用了,这时候就体现到了cookie登录的优点了,前段时间网上搜了搜,发现没有什么完整的教程,本文就使用selenium来cookie登录为例做一个简单的教程。 环境准备 python3 selenium chromedrive

ytraister的博客 2万+

APB Timer验证环境搭建——学习笔记(1)

以下为个人学习笔记,如有疏漏,请大家指正补充~~APB Timer是一个简单的下行计数器,包括一个32位计数器和一组比较器,可以实现多种计时功能。包括生成一次性中断或者定时中断。

qq_41651535的博客 1578

python爬虫登录微博_Python爬虫学习——使用Cookie登录新浪微博

1.首先在浏览器中进入WAP版微博的网址,因为手机版微博的内容较为简洁,方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤https://login.weibo.cn/login/2.人工输入账号、密码、验证字符,最后最重要的是勾选(记住登录状态)3.使用Wireshark工具或者火狐的HttpFox插件对GET请求进行分析,需要是取得GET请求中的Cookie信息在未...

weixin_39614011的博客 1357

基于PWM的汽车仪表步进电机微步驱动优化实践

本文深入探讨了基于PWM的微步驱动技术,用于优化汽车仪表步进电机的运行性能。通过将传统的分步驱动升级为PWM微步细分驱动,利用正弦/余弦查表法合成旋转磁场,有效消除了指针抖动与噪声,实现了指针的平滑、精准运动。文章以STM32和VID2905电机为例,提供了详细的硬件连接、代码实现及高级优化技巧,为提升汽车仪表体验提供了实用方案。

weixin_29169505的博客 512

【实验】Linux下完全卸载oracle单实例(亲身体验完整版)

停止oracle数据库服务 停止监听 卸载数据库实例 因为自己懒得再弄dbca图形化界面啥的,直接采用dbca静默删除数据库实例,命令如下 dbca -silent -deleteDatabase -sourcedb orclhq -sid orcl -sysDBAUserName orcl -sysDBAPassword zte [oracle@slave ~]$ dbca -silent ...

萝卜吃鱼914的博客 1945

python爬虫——使用Cookie

场景:当我们以未登录身份使用浏览器访问一个看书的相关网址时,只显示了亚马逊的购买链接。隐藏了书籍的下载链接。 但是当我们登录以后,下载链接会显示出来,这样在爬虫的时候,可以把下载链接解析出来使用。 登录前后网页Headers-Request Headers显示的Cookie不同。下图为浏览器和Web服务器之间的交互,也显示了Cookie的信息。 Cookie的引文原意是“点心”,它是在客户端访问Web服务器时,服务器在客户端硬盘上存放的信息,好像是服务器发送给客户的“点心”。服务器可以...

xixi20200的博客 1223

SolidWorks速成教程P3-5【零件 | 第五节】——异形孔向导&线性阵列&镜像

这节介绍异形孔向导、线性阵列、镜像。

嵌入式阿齐Archie 6074

python爬虫之使用cookie爬取登录后的界面、使用cookieFileJar保存cookie文件、cookie读取

1、cookie & session简介 -由于http协议的无记忆性,人们为了弥补这个这个缺憾,所采用的一个补充协议 -cookie是发放给用户(即http浏览器)的一段信息(通常记录用户身份),session是保存在服务器上的对应的另一半信息,用来记录用户信息 (1)cookie和session的区别 -存放位置不同 -cookie不安全 -session会保存在服务器上一...

reb0rn 1138

Python爬虫实战:采集行业协会、研究机构等平台的政策文件列表与PDF链接批量收集系统,支持自动下载、分类归档和数据库管理(SQLite持久化存储)!

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 640

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

python网络爬虫

Python网络爬虫是一种自动化程序,用于从互联网上抓取数据。Python因其丰富的库和工具,成为编写网络爬虫的理想语言。通过以上步骤和资源,初学者可以逐步掌握Python网络爬虫的基本技能,并能够编写简单的爬虫程序。随着经验的积累,可以进一步学习更高级的爬虫技术和框架,以应对更复杂的爬虫任务。

破损的天堂鸟博客 1300

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

python爬虫入门-使用cookie解决登录问题

前言 在做爬虫时,对于一些网站,不得不登录而获取需要的信息,这个时候就需要cookie来解决问题啦 cookie简介 cookie是指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常会被加密) 拿我曾经的一个项目来看: Cookie ssidCookie = new Cookie("ssid",md5Encrypt(userName)); 这就用java在后端...

JiajunBernoulli的博客 2339

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

python实现模拟浏览器登录入口_Python网络爬虫实战(四)模拟登录

Python网络爬虫实战(四)模拟登录本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站的爬虫实战来进行。不管你是学习Java爬虫还是Python爬虫,都可以从中学到爬虫的编码思想。(最下方小程序现在可以给我留言啦!)对于一个网站的首页来说,它可能需...

weixin_35106801的博客 844

python 爬虫(cookie)到底是干嘛的?

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。感兴趣的小伙伴,赠送全套Python学习资料,包含面试题、简历资料等具体看下方。

Saki_Python的博客 1190
上一篇: python爬虫get、fake_useragent、post请求、ajax请求的使用方法
下一篇: python爬虫——https请求
健身的杰Ray
博客等级 码龄6年 3粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值