用scrapy框架爬取豆瓣电影Top250

最新推荐文章于 2024-10-17 19:17:50 发布

原创

最新推荐文章于 2024-10-17 19:17:50 发布 · 2.8k 阅读

38 ·

CC 4.0 BY-SA版权

本文介绍了一种使用Scrapy框架爬取豆瓣电影Top250详细信息的方法，包括电影排名、名称、导演、主演、年份、产地、类型及评分，并将数据保存至csv文件。

功能描述

• 目标：获取豆瓣电影Top250的电影详细信息
• 输出：保存到csv文件中
• 技术路线：采用scrapy框架进行爬取

程序结构设计

（1）首先查看如何进行翻页处理，用鼠标点击其他页时不难发现网址中的start参数的取值会发生变化，由于每页罗列了25个电影信息，start的值是(对应页数-1)*25，采用一个循环就可以得到每页的url地址
（2）由于该网页是静态HTML页面，因此可以直接根据网页源代码爬取相关电影信息
（3）将结果存储到文件

代码实现

此处在spiders文件下新创建了一个top_movies.py文件
top_movies.py

# -*- coding: utf-8 -*-
import scrapy
import re
from ScrapyDouban.items import ScrapydoubanItem


class TopMoviesSpider(scrapy.Spider):
    name = 'top_movies'
    kv = {
   
   
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/84.0.4147.105 Safari/537.36 "
    }
    current_page = 0

    def start_requests(self):
        start_url = "https://movie.douban.com/top250?start="
        while self.current_page < 10:
            url = start_url + str(self.current_page * 25)
            self.current_page += 1
            yield scrapy.Request(url=url, headers=self.