Scrapy初探，爬取猫眼网排行100的电影

SinGaln

于 2019-08-25 11:57:39 发布

阅读量781

点赞数

分类专栏： python爬虫 python编程文章标签： scrapy，猫眼电影

本文链接：https://blog.youkuaiyun.com/qq_27492735/article/details/100061602

版权

本文介绍了如何利用Scrapy框架爬取猫眼网站上的电影排行榜前100名的数据。首先创建Scrapy项目，定义items.py中的数据结构，然后配置setting.py以添加User-Agent和启用物品管道。接着创建爬虫文件并编写爬虫逻辑，同时在pipelines.py中处理抓取的数据。最后，通过两种方式运行Scrapy程序：创建额外的Python脚本或者直接在命令行中运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.创建scrapy项目

scrapy startproject maoyanspider

2.写items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class MaoyanspiderItem(scrapy.Item):
    # define the fields for your item here like:
    movie_name = scrapy.Field()
    actor = scrapy.Field()
    time = scrapy.Field()
    score = scrapy.Field()
    img = scrapy.Field()

3.设置setting.py
把setting.py中的DEFAULT_REQUEST_HEADERS的注释去除，添加User-Agent

  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',

再去除ITEM_PIPELINES的注释
4.创建爬虫文件

scrapy genspider Myspider 'maoyan.com'

创建成

最低0.47元/天解锁文章