521爬虫js加密cookie
之前两天遇到了某个网站,在进行爬虫爬取的过程中,遇到了js加密的cookie,在经过各种大神的破解访问熏陶之后,终于在今天成功破解,但是还是无法使用scrapy进行爬取
接下来进入正题···
<script>var x="1565774358@1500@search@Rh@charAt@@@chall...............................</script>
爬取某个网站的信息时,出现了这样的情况,当时还以为是cookie的原因,换了cookie之后,一次只能爬几条数据,还是会返回一个521错误,查看了返回的信息,发现这好像一个js代码,所以尝试着去网上搜了搜,发现优快云里不少这种问题的解决方案,拿来试了一试,发现并不像他们说的这样简单。
首先,我们需要导入python中一个第三方库,这个库是专门运行js代码的:pip install execjs
如果对这个库不了解的可以去
https://blog.youkuaiyun.com/xudailong_blog/article/details/81271302
这个篇博客去看下使用规则
这里直接介绍破解方法,首先我们得到的是一个script标签,我们需要将这个标签使用正则去将我们使用的内容解析出来
re.findall('<script>(.*?)</script>',js)[0] #得到的数据为一个列表,我们需要取下标
js3 =