python爬取下载有妖气漫画网站免费漫画

最新推荐文章于 2021-12-05 18:02:08 发布

原创

最新推荐文章于 2021-12-05 18:02:08 发布 · 10w+ 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫

首先获取所有免费漫画的信息

进入开发者模式，由于漫画是采取异步访问的方式，我们直接点击XHR，查看里面的list，可以获得所有漫画的信息
在这里插入图片描述
我们尝试在网页访问里面的Headers里面的URL，

得到
显然，网页采取了反爬虫机制，这边我们要设置代理，伪装成浏览器去访问，这边要添加一些头部信息
代码如下：

  headers = {
        "Request Method": "POST",
        "Cookie": "U17SID=pfp8vufd21t6vd87hppch4f3p9c19ku3; index_mobile_do_ad=1; Hm_lvt_9aa72b7e4e92f182872acd1c8031f141=1538056312; UM_distinctid=1661b4cdea43aa-0b0eb36b6ca7fb-3a614f0b-100200-1661b4cdea510; CNZZDATA30088157=cnzz_eid%3D421910364-1538051250-null%26ntime%3D1538051250; Hm_lpvt_9aa72b7e4e92f182872acd1c80