Python爬虫, 哪些奇特的网站值得一爬! 谱时网爬虫实例

在我们学习的过程中，打开一个网站就想抓一次数据，但是并不是所有的网站都可以用一种方式抓到数据的，有的是网页结构特殊，有的是json数据包不一样，慢慢的写一些自己在抓站过程中遇到的奇特的网站，分享思路和抓取方法给大家！

工具、目标

工具：pycharm、python3.6版本

库：requests库

目标：谱时网热门图片直播页面，所有的图片信息

说明：该网站有热门图片页面，里面有活动的相关照片，按活动将所有的图片信息写入txt文档（不下载图片，是为了不对服务器造成影响）！

目标分析

首先，如上图打开主页，其它的不用管，直接点击右上角，出现选项后，点击进入热门图片直播选项（注意：有的浏览器要缩放页面，才可以看到热门图片直播的选项），进入后页面如下所示

这里我是缩放到了30%，下方呢，就是一个个的活动图片直播的页面了。随便点开一个活动，我们看看页面

看页面的图片加载这么慢，应该是动态加载的，右键查看源代码，果不其然！

没有任何的图片信息，那么我们就需要用到浏览器的页面审查工具了！我这里用的是火狐浏览器，摁F12就可以打开，然后点击网络，清除内容，刷新页面