Asche的博客

继续上次的知乎爬虫， 这次开始了哔哩哔哩的爬虫实践； 首先介绍下如何下载吧：VideoHelper里面有三种方式下载b站视频。 同样的流程， 还是先抓包，分析参数，寻找参数（包括之前的请求包和页面源码），找出视频真实地址， 然后在模拟。 抓包是注意几个参数： aid：每个视频都会有对应的 aid， 包括ep类型的； cid：弹幕的id， 通过相关api可由ci...

前言 前几天有个朋友托我帮忙爬一个网站，第一次打开那个网站时，我去，它竟然就要验证码，不过当时是想加几个header应该就能解决，不过事实证明我还是错了。接下来将记录下爬虫中遇到的一些坑以及解决办法。 开始 相关 目标网站：AVADA – Avada Commerce 使用了Cloudflare的cdn服务，而且Cloudflare又和百度有合作，所以我们的访问异常时，就会被百度的云加速服务给...