325day（pyspider图片爬取实例尝试）

最新推荐文章于 2021-06-05 21:23:49 发布

orangecloudy

最新推荐文章于 2021-06-05 21:23:49 发布

阅读量274

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/orangecloudy/article/details/82005545

本文尝试使用 Pyspider 框架进行图片爬取，通过模仿示例代码实现对指定网站的图片资源抓取。作者分享了其代码实现过程，并计划调整标签选择器以解决当前爬取不到图片的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《2018年8月24日》【连续325天】

标题：pyspider图片爬取实例尝试；

内容：
参考1：https://cuiqingcai.com/2652.html

模仿这个写了个代码：

def __init__(self):
        self.base_url = 'https://bcy.net/huodong/176?&p='
        self.page_num = 1
        self.total_num = 20
        self.deal = Deal()
        
    @every(minutes=24 * 60)
    def on_start(self):
        while self.page_num <= self.total_num:
            url = self.base_url + str(self.page_num)
            print(url)
            self.crawl(url, callback=self.index_page,validate_cert=False)
            self.page_num += 1
            
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('.db.ovf').items():
            self.crawl(each.attr.href, callback=self.detail_page,validate_cert=False)

    @config(priority=2)
    def detail_page(self, response):
        img = response.doc('.content-img-wrap img').attr.src
        self.crawl(img, callback=self.save_img,validate_cert=False)

结果没图。可能是标签找错了，明天改一下；

2.：https://blog.youkuaiyun.com/u013919836/article/details/68066715