从python脚本爬取快递100认知csrftoken

本文介绍了在使用Python脚本爬取快递100数据时遇到的csrftoken问题。通过分析请求参数、headers及cookies,发现temp为随机数,而csrftoken是关键。通过访问主页获取完整的cookies,包括hm_lpvt和Hm_lvt,最终成功请求到快递信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

(1)首先登录快递100首页,此时先看下获取到的cookies,稍后会用到
在这里插入图片描述(2)找到获取快递公司名称的异步请求
(3)找到获取快递信息的请求(此处是难点),先查看请求参数,type是上一步获取到的快递公司名,postid是快递单号,temp推测是随机数,phone不用填写
根据我上一篇博客来到对应的参数计算公式https://blog.youkuaiyun.com/weixin_43868179/article/details/94164236
在这里插入图片描述
根据下图,发现temp就是个随机数
在这里插入图片描述
于是把参数准备好,请求头写好User-Agent和Referer写代码测试,发现不行,于是猜测应该是请求头里面有文章,应该是cookies的问题.把请求头中的cookies复制出来再测试一下,代码生效了。
于是检查下cookies,先百度csrftoken

Java 关于爬取网站数据遇到csrf-token的分析与解决

链接上说,他是上一次请求获取的,于是查看下请求头的host网页,就是主页嘛,于是回头看访问主页时获取到的cookies,见图1,正好就是和请求头中记录的cookies一样的。
hm_lpvt***和Hm_lvt***也顺带百度了下

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值