使用scrapy简单爬取图片并保存

最新推荐文章于 2022-05-17 12:57:41 发布

xia_mo_luo

最新推荐文章于 2022-05-17 12:57:41 发布

阅读量2.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python爬虫 scrapy框架图片爬取

本文链接：https://blog.youkuaiyun.com/xia_mo_luo/article/details/78907824

第一次写博客有什么需要改进的地方欢迎留言改进

本次代码运行是基于Linux系统 python3 scrapy框架运行

1.先看结果
2.接着上代码
spider 
  
   
  # -*- coding: utf-8 -*-
import scrapy


class Tu699Spider(scrapy.Spider):
    name = 'tu_699'
    allowed_domains = ['699pic.com']
    start_urls = ['http://699pic.com/people.html']

    def parse(self, response):
        li_list = response.xpath("//div[@class='swipeboxEx']/div")
        item = {}
        for li in li_list:
            # 获取图片url
            item["img_url"] = li.xpath("./a/img/@data-original").extract_first()
            # 获取图片名称
            item["img_name"] = li.xpath("./a/img/@title").extract_first()
            yield item
        # 获取下一页
        url = response.xpath("//a[@class='downPage']/@href").extract_first()