scrapy 爬取取糗事百科的图片

最新推荐文章于 2021-04-22 19:30:53 发布

Gcers

最新推荐文章于 2021-04-22 19:30:53 发布

阅读量278

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/a1033479126/article/details/92110843

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍使用Scrapy框架进行图片爬取的具体实现方法，包括配置下载中间件、定义Item和解析图片链接的过程。通过设置特定的下载路径和字段，实现了图片的有效下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

获得图片 传入下载得item 
name = 'demo'
end = 1
url = 'https://www.qiushibaike.com/pic/'
start_urls = [url+str(end)]

def parse(self, response):
    it = ScrapydemoItem()
    mt = response.xpath('.//div[@class="thumb"]/a/img/@src').extract()
    print(len(mt))
    for ms in mt:
        it['url'] = ['http:'+ms]
        yield it

在settings 里面设置

ITEM_PIPELINES = {
   'scrapydemo.pipelines.ScrapydemoPipeline': 300,
   'scrapy.pipelines.images.ImagesPipeline':1
}
IMAGES_STORE = 'imagesrc'
IMAGES_URLS_FIELD = 'url'

结果