521cookie加密爬虫错误

在爬取某网站时遇到JS加密的Cookie问题,导致返回521错误。通过学习和尝试,使用execjs库解析和运行JS代码,经过多次请求和处理,成功获取解密后的Cookie,但依然无法在Scrapy中正常爬取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

521爬虫js加密cookie
之前两天遇到了某个网站,在进行爬虫爬取的过程中,遇到了js加密的cookie,在经过各种大神的破解访问熏陶之后,终于在今天成功破解,但是还是无法使用scrapy进行爬取
接下来进入正题···

<script>var x="1565774358@1500@search@Rh@charAt@@@chall...............................</script>

爬取某个网站的信息时,出现了这样的情况,当时还以为是cookie的原因,换了cookie之后,一次只能爬几条数据,还是会返回一个521错误,查看了返回的信息,发现这好像一个js代码,所以尝试着去网上搜了搜,发现优快云里不少这种问题的解决方案,拿来试了一试,发现并不像他们说的这样简单。
首先,我们需要导入python中一个第三方库,这个库是专门运行js代码的:pip install execjs
如果对这个库不了解的可以去

https://blog.youkuaiyun.com/xudailong_blog/article/details/81271302
这个篇博客去看下使用规则

这里直接介绍破解方法,首先我们得到的是一个script标签,我们需要将这个标签使用正则去将我们使用的内容解析出来

	re.findall('<script>(.*?)</script>',js)[0]   #得到的数据为一个列表,我们需要取下标
    js3 =
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值