【Selenium 小知识】获取 token 和 cookies

使用webdriver获取网页token值 近日在学习webdriver爬虫的过程中遇到了一个小问题,在此做个记录。 这是一个能够获取电商平台商品历史价格的网站: http://www.manmanbuy.com 我想要通过向它传递商品链接来获取此网站上该商品的所有历史价格,然而该网站每次读取历史价格时会生成一个随机token值,若我给出的token值不正确,则网站会返回给我一个其他商品的历史价格数据。 为了正确获取该网站的历史价格数据,我有进行如下尝试: 1.F12进入网页检查页面,我们发现在ID为iframeId的iframe标签中有我 阅读详情

使用 selenium 获取网址的 token 和 cookies

调用 selenium 库,启动浏览器

impor time
from icecream import ic
from selenium import webdriver
from selenium.webdriver.common.by import By


driver = webdriver.Chrome()
# 隐式等待30s
driver.set_page_load_timeout(30)
# 窗口最大化
driver.maximize_window()

# 获取网址
driver.get("需要获取数据的网址")
time.sleep(3)
# 输入用户名密码
driver.find_element(By.ID, 'username').send_keys('用户名')
driver.find_element(By.ID, 'password').send_keys('密码')

获取 token 值

# 获取 token 值
token = driver.execute_script('return localStorage.getItem("AuthToken");')
# ic(f"\n{token}")

# 保持至本地txt文件
with open("token.txt", "w") as t:
    t.write(f"{token}")
    t.close()

获取 cookies 值

# 获取 cookies
dict_cookies = driver.get_cookies()
# ic(json.dumps(dict_cookies))

# 保存至 json 文件
with open("cookies.json", "w") as c:
    c.write(f"{dict_cookies}")

# 将获取的 cookies 值并保持至本地txt文件
cookies = {}
for s in dict_cookies:
    cookies[s['name']] = s['value']
Python+Selenium自动化获取接龙管家Token的3种方法对比(附避坑指南) 本文详细对比了Python+Selenium自动化获取接龙管家Token的三种方法,包括手动抓包、网页版复制和Selenium全自动化方案,并提供了实用的避坑指南。针对不同需求场景,给出了具体的选择建议和优化方案,帮助开发者高效实现自动打卡功能。 阅读详情

相关推荐

Selenium免登录自动化实战:Cookie与Token原理详解及Python实现

在Web自动化测试与数据抓取领域,会话管理是核心技术之一。其核心原理是通过Cookie或Token机制维持客户端与服务器之间的认证状态,从而避免重复登录。Cookie由服务器签发,浏览器自动存储与携带,适用于传统Web应用;而Token(如JWT)是一种自包含的凭证,常用于现代前后端分离架构,由客户端主动管理。这两种技术能显著提升脚本的稳定性和执行效率,降低资源消耗与风控风险。在实际工程中,基于Cookie的免登录方案通过Selenium的`add_cookie()`方法实现,需注意域名匹配与过期处理;对于

weixin_30652897的博客 403

selenium 获取token

selenium + js 获取token

weixin_57340310的博客 3937

使用 Selenium 获取网页中的 Token

【代码】使用 Selenium 获取网页中的 Token。

学无止境 2763

python 用seleniumwire模块获取网站登陆后的请求头token字符串数据

python 用seleniumwire模块获取网站登陆后的请求头token字符串数据

weixin_43163395的博客 2182

Xilinx SDK调试与FPGA硬件验证全流程解析

本文详细解析了从Vivado导出硬件到Xilinx SDK进行调试与FPGA硬件验证的全流程。重点阐述了正确导出包含bitstream的硬件平台、创建合适的SDK工程、配置Debug会话以编程FPGA,并介绍了串口验证、自定义IP测试以及使用ILA进行软硬件联合调试的高级技巧,帮助开发者高效完成FPGA系统的软硬件协同开发与问题排查。

weixin_28327051的博客 309

密码学实战:如何利用生日攻击破解哈希函数

本文深入探讨了生日攻击在密码学中的应用及其对哈希函数的威胁。通过分析生日悖论的数学原理,揭示了哈希函数在实际应用中的脆弱性,并提供了防御策略,如升级哈希算法、正确使用加盐技术等。文章结合实战案例,帮助开发者理解如何有效防范此类攻击,确保系统安全。

weixin_42530732的博客 191

selenium 中添加token 和cookies

selenium 中添加token 和cookies 1.判断当前页面是token 还是cookies token 注入: token = self.driver.execute_script('return sessionStorage.getItem("token")') 获取token的值,运用js写法,必须加 return 才有返回,不然都是None,进行注入 self.driver.execute_script('sessionStorage.setItem("auth", "

weixin_46043193的博客 2386

云桌面如何部署?云桌面系统方案部署详细教程

云桌面作为一种比较新的技术工具,核心解决的场景是方便设计师的灵活办公,本身技术就是非常的灵活性,所以在安装部署方面青椒云也做到了十足的灵活。

2301_79113726的博客 1633

关于selenium获取token sessionid

# 获取sessionid def get_sessionid(self): # 是要从localStorage中获取还是要从sessionStorage中获取,具体看目标系统存到哪个中 # window.sessionStorage和直接写sessionStorage是等效的 # 一定要使用return,不然获取到的一直是None # get的Item不一定就叫s...

weixin_30496751的博客 2051

OpenClaw Skill 开发全攻略|2026 最新机制 + 文件处理实操,看完直接落地开发

很多新手刚接触时,会把 Skill 想得很复杂,其实大可不必。OpenClaw 中的每个 Skill,本质就是一套“能力描述 + 执行逻辑”的组合包,简单说就是“告诉 AI 你能做什么、怎么做,它就会调用你”,核心特征可以总结为这几点,好记又实用:核心载体:以文件夹为单位,不管多简单的 Skill,文件夹里都必须有 SKILL.md 文件——这是 AI 识别技能的唯一依据,少了它,再完善的代码也没用;

haolove527的专栏 7024

Qt实现思维导图功能5『纵向分布模式』

思维导图纵向分布模式:模式一

浮生流年的博客 1055

python selenium 使用cookies免登陆,与requests使用cookies免登陆的差别

要点:1.selenium的cookies是多个字典组成的list,而且有很多键值         2.selenium 想要添加cookies,得先登录对应域名的网址,再添加,一旦cookies里有不同域名(domain)就会报错!         3.requests的cookies只需name跟value即可最近研究用selenuim 登录纯JS加载的网站获取信息,到后面想用cookies免...

行者刘6 1万+

基于粒子群优化的PID控制在药液流量控制系统中的应用

本文提出了一种基于粒子群优化(PSO)的PID控制算法,用于药液流量控制系统。系统采用C37控制器和Codesys 2.3编程环境实现,通过传感器实时监测流量、压力和车速,并控制水泵占空比和电动球阀开度来精确调节药液流量。硬件配置包括FT-2000流量传感器、PT-3000压力传感器和MV-500电动球阀等。控制算法将PSO与PID结合,使用ITAE指标优化PID参数,在Codesys中实现了包含PSO优化循环、PID控制等功能的程序模块。该系统通过分层控制策略和智能优化算法,提高了药液流量控制的精度和响应

AI的内部世界的博客 250

selenium2java利用mysq解决向浏览器插入cookies时token过期问题

本人在学习selenium2java中通过浏览器插入cookies模拟用户登录的时候,发现一个问题,就是token值过期的问题,后来学习了selenium2java连接数据库后找到了一个更好的解决方案。每次插入cookies的时候总是从数据库拿到最新的token,这样就完美解决了过期的问题。 这个是我登录后从浏览器拿到的cookies: [Automatic_login=18436035355

Fhaohaizi的博客 1236

3D扩散模型的构建与优化:多模态融合在三维物体生成中的作用【附核心代码实例】

随着技术的发展,基于扩散模型的3D内容生成已经成为一个激动人心的领域。通过不断优化扩散模型的结构和算法,结合多模态信息、视角控制和高效网络架构,未来的3D生成技术将不仅能够生成逼真的物体,还能满足虚拟现实、游戏设计、电影制作等行业对高质量、实时生成的需求。

一键难忘的博客 2862

五、MT8168 音频驱动之SPEAKER

本章主要讲解MT8168平台的内部SPEAKER驱动配置。分为HP接法和LINE OUT接法。2.1.3 audio_custom_exp.h设置。2.1.4 mixer_paths.xml设置。2.2.3 mixer_paths.xml设置。2.1.2 ProjectConfig 设置。2.2.2 ProjectConfig 设置。2.2.1 deconfig设置。2.1.1 DTS设置。......

Joon2020的博客 1664

【selenium基础】设置浏览器Cookie及Token,记住密码免登陆

文章目录selenium设置请求的Cookieselenium设置请求的Token selenium设置请求的Cookie 设置Cookie,首先要获取请求连接的Cookie,根据F12开发者工具/各种抓包工具都可以 注意cookie格式是key-value的格式 # 获取cookie cookies=browser.get_cookies() print(cookies) #添加cookie browser.add_cookie({'name': '...', 'value': '...'}) se

Duyf的博客 5183

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Selenium爬虫避坑指南:如何稳定获取需要登录的网站Token?(Python3实战)

本文提供了使用Selenium和Python3稳定获取需要登录网站Token的实战指南。文章深入剖析了Cookie、LocalStorage和Session等身份凭证的存储机制,并分享了构建鲁棒登录流程、应对动态加载与反爬策略、以及Token持久化与生命周期管理的核心技巧,帮助开发者有效规避常见爬虫陷阱。

xk7n92h3p5m的博客 932

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

python3 requests session教程_Python3+Selenium获取session和token供Requests使用教程

一、背景说明之前写了一款简单的api模糊测试工具,之前系统可以使用http Base认证现在改成session形式并加上了token。最简单的改造方法,是自己先在浏览器手动登录,然后提取出session和token(系统token在整个会话期间可重复使用)填到模糊测试工具中即可。但这种非全自动化的方式不到万不得已不想用。最直接的方法,最使用requests按登录流程依次发包登录即可。但其中的难点是...

weixin_39718888的博客 1257

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

python+selenium 通过添加cookies或token解决网页上验证码登录问题

cookie或token可以保存登录信息,当我们拿到cookie后,可以通过向浏览器发送cookie中记录的数据,直接变成登录状态,不需要再登录。 下面举个栗子 1、先把正常的登录方式码一下: browser = webdriver.Chrome(executable_path='chromedriver.exe') browser.get("https://******") #登...

aiee的博客 1万+

python+selenium获取cookie session_Python3+Selenium获取session和token供Requests使用教程

一、背景说明之前写了一款简单的api模糊测试工具,之前系统可以使用http Base认证现在改成session形式并加上了token。最简单的改造方法,是自己先在浏览器手动登录,然后提取出session和token(系统token在整个会话期间可重复使用)填到模糊测试工具中即可。但这种非全自动化的方式不到万不得已不想用。最直接的方法,最使用requests按登录流程依次发包登录即可。但其中的难点是...

weixin_39732609的博客 764

java cookie过期_selenium2java利用mysq解决向浏览器插入cookies时token过期问题

本人在学习selenium2java中通过浏览器插入cookies模拟用户登录的时候,发现一个问题,就是token值过期的问题,后来学习了selenium2java连接数据库后找到了一个更好的解决方案。每次插入cookies的时候总是从数据库拿到最新的token,这样就完美解决了过期的问题。这个是我登录后从浏览器拿到的cookies:[Automatic_login=18436035355%7Ce...

weixin_35367646的博客 349

Selenium—通过cookies跳过验证码登录

通过cookies跳过验证码登录   现在很多的登录都需要验证,而验证相对复杂,需要花费大量的时间,那么我们就可以通过cookie,来跳过登录 cookie怎么获取   我们可以通过手动登录,来获取登录时的cookie值 通过Fiddler抓包获取cookie值 通过开发者工具--Network 中获取cookie值 以 https://www.gglott...

weixin_30776863的博客 541
上一篇: 【Python 小知识】[:-1] 和 [::-1]
下一篇: 【TypeScript】do...while 循环
Warolitbos
博客等级 码龄7年 108粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Warolitbos

如果有帮助,请我喝咖啡!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值