wangzhuanjia的博客

将请求二中cookie拿到，可以直接用，接下来就是用python实现这个流程。此处可以顺利拿到结果，证明整个流程已经通了。这个cnvd站点 包含 sha1, sha256,md5,这三种加密流程基本一样所以项目中有3个js文件。cnvd此网站，正常用户都需要如果点快了，会对其进行限流以及封ip行为，不要对网站进行攻击以及高并发爬取。

注： 原创作者 https://zhuanlan.zhihu.com/p/158083974加了一点自己使用时候的小坑，目的是方便以后自己回溯查看。

写一个某汽车网站的爬虫，将车辆价格，车辆名称，车辆配置，不同型号，还有车友评论以及车友成交价格，最后保存json文件，更直接更直观。所以我们只要先去搜索拿到车id，再去请求车辆详情接口和车友评论接口就ok了，思路很清晰了。然后点进去看详情，打开开发者工具检查xhr交互，看一下有没有我们需要的ajax请求，这个懂车帝非常友好，没有什么反爬机制，正常访问就可以，我没有做频率测试也没有必要，我们先清空所有请求，点击口碑可以看到这个接口里面有我们想要的数据，在我们搜索车辆名称时，所加载的主页面里有，........