haerxiluo的博客

通过对一万张谷歌图片的爬取(需要科学上网)，快速上手Selenium与Requests两大爬虫工具，本文思路是先通过selenium定位谷歌图片网页链接并将链接存到本地上，再用requests库对本地上的图片链接进行爬取。以上就是今天要讲的内容，本文通过selenium和requests爬取大量谷歌图片，需要注意的重点是，谷歌图片下拉的操作需要时间加载，所以用selenium模拟下拉操作非常重要。以及url和浏览器缓存图片的区别。.................................

模拟登录微博是实现微博网页爬虫的第一步，现在的微博网页版有个sina visit system，只有登录过后才能获取更多微博内容。本文使用selenium通过预登陆保存cookie到本地，之后重复登录只需要提取本地cookie即可免去每次扫码或者输密码登录。............