Mliangydy的博客

大学生一枚，学爬虫完全是个人兴趣所好，这些都是个人爬虫遇到的坑找到的或自己总结的一些技巧。不要喷我的代码写的丑，哈哈哈！

python版本：3.6.1开发工具：PyCharm社区版，Anaconda3数据库：MongoDB可视化MongoDB工具：MongoVUE1.开启数据库后，打开MongoVUE使MongoDB可视化。2.用PyCharm编写代码，爬取数据并保存到数据库中。3.刷新数据库查看是否保存数据成功。# -*- coding:utf-8 -*-from lxml i

1.分析：进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片，下拉后发现会有不断的图片刷新出来，这就是堆糖采用了动态加载网页。2.用开发者工具(F12)分析：按一下F12，找到network分支，再按一下F5，将刷新后的网页一直往下拉，打开XHR，发现Name下有两个或多个？include开头字段，然后观察Header和Preview发现它的图片信息是json格式的数据。

之前也想过用java写爬虫，但苦于教程资源过少和各方面的原因一直没去仔细研究，趁昨天学习了一波自己尝试写了一个爬取西刺代理的小爬虫。