这篇博客介绍了如何利用Python的Scrapy框架轻松下载搜狗图片。首先，阐述了目标站点是搜狗图片频道，接口数据直接返回，通过改变参数实现图片采集。接着展示了核心爬虫文件的编写，提取JSON数据中的图片URL，并使用Scrapy内置的图片下载中间件。在settings.py中调整配置后，图片会被自动下载。文章还提到了可能出现的问题及解决方案，如缺少依赖库和文件名混乱，通过自定义数据管道解决了文件命名问题。最后鼓励读者尝试完善爬虫以实现多页下载。
学习任何编程技术，都要有紧有送，今天这篇博客就到了放松的时候了，我们学习一下如何用 scrapy 下载图片吧。
目标站点说明
这次要采集的站点为搜狗图片频道，该频道数据由接口直接返回，接口如下：
https://pic.sogou.com/napi/pc/recommend?key=homeFeedData&category=feed&start=10&len=10
https://pic.sogou.com/napi/pc/recommend?key=homeFeedData&category=feed&start=20&len=10
其中只有 start 参数在发生变化，所以实现起来是比较简单的。
编写核心爬虫文件
import scrapy
class SgSpider(scrapy.Spider)
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
