Pyspider--第三个案例(成熟案例)

最新推荐文章于 2023-12-11 12:00:00 发布

青~

最新推荐文章于 2023-12-11 12:00:00 发布

阅读量495

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： Python Pyspider

本文链接：https://blog.youkuaiyun.com/super_qing_/article/details/86627857

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Python爬虫技术从豆瓣网站抓取经典电影前100名的详细信息，包括电影ID、标题、简介、图片等，并将数据存储到本地指定目录的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取豆瓣电影经典电影前100名信息

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-01-21 11:20:39
# Project: DBDY

from pyspider.libs.base_handler import *
import os

class Handler(BaseHandler):
    crawl_config = {
    }
    
    def __init__(self):
        self.basedir = "E:/DBDY"

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%BB%8F%E5%85%B8&sort=recommend&page_limit=30&page_start=0', callback=self.index_page ,validate_cert=False)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for obj in response.json["subjects"]:
            save = {'id':obj['id'],'title':obj['title'],'mvdir':self.basedir+"/"+obj['title']}
            if not os.path.exists(save['mvdir']):
                os.mkdir(save['mvdir'])//创建文件夹
            self.crawl(obj["url"], callback=self.mv_page ,validate_cert=False,save=save)
            self.crawl("https://movie.douban.com/subject/"+obj['id']+"/all_photos", callback=self.photos_page ,validate_cert=False,save=save)
    @config(age=10 * 24 * 60 * 60)
    def mv_page(self, response):
        desc = response.doc("#info").text().encode("gbk")
        f = open(response.save['mvdir']+"/"+response.save['title']+".txt","w")//在文件夹下创建一个子文件夹
        f.write(desc)
        f.flush()
        f.close()
        #phototsurl = response.doc(".related-pic .pl > a:nth-child(4)").attr.href//得到图片的地址--a:nth-child(4)--第4个子元素
        #self.crawl(phototsurl, callback=self.photos_page ,validate_cert=False,save=mvdir)
    
    @config(age=10 * 24 * 60 * 60)
    def photos_page(self, response):
        for obj in response.doc('.article li > a').items()://选取图片的源地址(单个图片的地址)
            self.crawl(obj.attr.href, callback=self.photo_page ,validate_cert=False,save=response.save)
    
    @config(age=10 * 24 * 60 * 60)
    def photo_page(self, response):
        imgurl = response.doc('.mainphoto > img').attr.src//得到大图片的地址
        mvdir = response.save['mvdir']
        imgname = imgurl.split("/")[-1]//--选取最后一个最为图片名
        imgpath = mvdir+"/"+imgname//图片的地址
        self.crawl(imgurl, callback=self.downimg_page ,validate_cert=False,save=imgpath)
    
    @config(age=10 * 24 * 60 * 60)
    def downimg_page(self, response):
        data = response.content
        f = open(response.save,'wb')//以二进制写出数据wb
        f.write(data)
        f.flush()
        f.close()