基于 Scrapy 框架影视信息采集与分析

最新推荐文章于 2023-04-03 11:10:05 发布

原创

最新推荐文章于 2023-04-03 11:10:05 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#westos

本文介绍了一个利用Scrapy框架爬取豆瓣电影Top250和喜剧、动作类电影信息的过程，包括电影名称、评分、导演、上映时间和评论。详细阐述了Scrapy的运行流程，items.py的配置，spiders中的douban.py爬虫代码编写，以及如何通过pipeline处理和存储数据。此外，还解释了如何扩展爬虫以爬取所有250部电影的详情。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

采用基于 Scrapy 框架的爬虫技术,开发了检索电影信息的搜索引擎。对豆瓣网站的影视信息进行爬取,以方便用户准确获取最新的电影信息。
以“豆瓣电影”为爬取目标,爬取网站中的影视信息。主要包括网站排名 “ Top250 ”和喜剧、动作类电影的电影名称、电影评分、电影导演, 电影上映时间以及电影评语。

Scrapy 框架运行流程

在这里插入图片描述
1.创建工程

scrapy startproject DouBan

2.创建爬虫程序

cd DouBan/

genspider douban 'douban.com'

会自动创建目录以及文件
在这里插入图片描述

然后就可以开始我们的爬虫了，分析需求可知，我们要爬取网站排名 “ Top250 ”和喜剧、动作类电影的电影名称、电影评分、电影导演, 电影评论数以及电影评语。
编辑items.py文件：
在DoubanItem类里面加入要爬取的item

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()          #电影名称
    rating_num = scrapy.Field()       #电影评分
    inq = scrapy.Field()            #电影短评
    actor = scrapy.Field()       #电影导演
    comment = scrapy.Field()         #电影评论数

接下来进入spiders下的douban.py文件，编辑爬虫代码：
这里要注意的是：
start_urls就是我们一开始要爬取的url地址，spider会自动执行爬虫，返回一个response对象，传入parse函数中，所以在parse函数中，我们可以直接对resonse对象用xpath解析，返回的仍是一个对象，所以需要extract方法提取对象的内容。
在parse中，我们首先实例化DoubanItem的类（从items文件中导入），爬取的数据将以item对象的方